日前，由中國計(jì)算機(jī)學(xué)會(CCF)主辦，CCF大數(shù)據(jù)專家委員會承辦的2016中國大數(shù)據(jù)技術(shù)大會(BDTC2016)在北京新云南皇冠假日酒店隆重舉辦。北京觀數(shù)科技有限公司CEO李科作為演講嘉賓應(yīng)邀參加了盛會，并分享了觀數(shù)科技在大數(shù)據(jù)安全領(lǐng)域的技術(shù)與經(jīng)驗(yàn)。

[[178980]]

對于大數(shù)據(jù)生態(tài)安全之前一直都是國外廠商在唱“獨(dú)角戲”，如Cloudera、Hortonworks等都為Hadoop生態(tài)提供了安全解決方案。伴隨大數(shù)據(jù)在國內(nèi)的迅速發(fā)展，觀數(shù)科技憑借其安全行業(yè)豐富經(jīng)驗(yàn)，在進(jìn)入該領(lǐng)域后，迅速成為國內(nèi)首家大數(shù)據(jù)基礎(chǔ)框架安全解決方案提供商。觀數(shù)科技從事信息安全工作十余年，是新興的創(chuàng)業(yè)公司，目前正在進(jìn)行Pre-A輪融資。

[[178981]]

中國版大數(shù)據(jù)“哨兵”

一直以來，國內(nèi)的大數(shù)據(jù)方案提供商在搭建基礎(chǔ)架構(gòu)的時候，多數(shù)采取使用國外Apache開源項(xiàng)目，如：Sentry、Ranger、Knox、Kerberos等。國內(nèi)在此領(lǐng)域相對處于空白，這些優(yōu)秀的項(xiàng)目當(dāng)中卻沒有一個來自于中國，這讓作為信息安全工程師出身的觀數(shù)科技CEO李科有些不甘。他認(rèn)為，首先用戶的可選擇余地很少，并且開源組件解決的基本是解決“點(diǎn)”的問題，很難全面的發(fā)揮協(xié)同作用，以點(diǎn)蓋面的解決問題并不能真正形成有效的方案。于是李科帶領(lǐng)自己的團(tuán)隊(duì)開發(fā)出了一款獨(dú)立的大數(shù)據(jù)安全訪問控制產(chǎn)品BIG DAF，讓國內(nèi)用戶在大數(shù)據(jù)平臺的搭建上多了一個選擇。

[[178982]]

BDCT2016會務(wù)組對產(chǎn)品給予了高度評價，從產(chǎn)品的方案構(gòu)成和自主獨(dú)立性來看，產(chǎn)品有著很高的技術(shù)門檻與先進(jìn)性，國內(nèi)2014年以來才開始進(jìn)入大數(shù)據(jù)行業(yè)真正的發(fā)展期，而經(jīng)過兩年的建設(shè)，已經(jīng)有許多行業(yè)領(lǐng)域的應(yīng)用已經(jīng)初具規(guī)模，而阻礙大數(shù)據(jù)發(fā)展的核心問題之一就是安全。日益嚴(yán)重的電信詐騙、個人隱私泄漏、以及行業(yè)數(shù)據(jù)被竊取，正在逼迫我國在該領(lǐng)域立法，制定相關(guān)的產(chǎn)業(yè)標(biāo)準(zhǔn)。而對這一標(biāo)準(zhǔn)的落地，觀數(shù)科技的BIG DAF率先走出了一步，在大數(shù)據(jù)安全這一空白領(lǐng)域，推出了真正自主來源的安全產(chǎn)品。

大數(shù)據(jù)安全的必要性

1、防的不是外網(wǎng)、內(nèi)網(wǎng)，防的是風(fēng)險(xiǎn)

企業(yè)對于安全防護(hù)一般都重外網(wǎng)、輕內(nèi)網(wǎng)，據(jù)IDC統(tǒng)計(jì)，企業(yè)受到外網(wǎng)攻擊風(fēng)險(xiǎn)比例遠(yuǎn)高于內(nèi)網(wǎng)，占比高達(dá)80%，但造成的損失卻低于占比20%的內(nèi)網(wǎng)，不管是“網(wǎng)震”還是“火焰”，病毒都是屬于內(nèi)網(wǎng)攻擊，由于“郵件門”錯失總統(tǒng)寶座的希拉里，也要“歸功”于內(nèi)網(wǎng)攻擊。所以企業(yè)防護(hù)重要性不應(yīng)分內(nèi)、外網(wǎng)，應(yīng)該根據(jù)企業(yè)實(shí)際業(yè)務(wù)風(fēng)險(xiǎn)進(jìn)行安防。

2、護(hù)的不是在線、離線，是業(yè)務(wù)

應(yīng)用、數(shù)據(jù)有些是需要實(shí)時處理與分析的，它們是動態(tài)的，如：日志實(shí)時處理。而有些則是靜態(tài)的，當(dāng)需要時才會被使用。對于這種在線、離線狀況，安全防護(hù)不應(yīng)分狀態(tài)，防護(hù)的應(yīng)該是業(yè)務(wù)。

3、保的不是敏感與不敏感，是價值

企業(yè)大數(shù)據(jù)資產(chǎn)不僅產(chǎn)生速度快、容量龐大而且類別繁雜，其中包含許多敏感數(shù)據(jù)，而企業(yè)往往重視敏感數(shù)據(jù)的保護(hù)，忽視了其他數(shù)據(jù)的價值。但是，大數(shù)據(jù)價值不僅體現(xiàn)在其原始數(shù)據(jù)的價值，更體現(xiàn)在分析后的價值，而分析后的價值則是由這些敏感、非敏感數(shù)據(jù)綜合分析出來的，任何一塊數(shù)據(jù)的缺失、破壞都會降低其分析后的價值，因此“完整性”則是非敏感數(shù)據(jù)的保護(hù)要點(diǎn)。

大數(shù)據(jù)基礎(chǔ)框架安全現(xiàn)狀

無論是Hadoop、還是Spark生態(tài)，在設(shè)計(jì)之初并未考慮其安全問題，以至于發(fā)展至今，他們一直遺留著Linux的安全隱患。每一天都有大量的數(shù)據(jù)、用戶和應(yīng)用在加入這個日益壯大的集群中來。如何讓終端用戶在現(xiàn)存的大數(shù)據(jù)基礎(chǔ)架構(gòu)下，保證數(shù)據(jù)訪問和BI應(yīng)用程序的充分安全，一直是安全管理員和監(jiān)察人員揮之不去的困擾。

這些安全問題如：

1、存在root權(quán)限過大，可以對資源進(jìn)行任意修改(Change Permissions、Change Owner);

2、沒有安全模型，不對用戶或服務(wù)進(jìn)行驗(yàn)證，也沒有數(shù)據(jù)隱私。因此在分布式的設(shè)備集群上任何人都能提交代碼并執(zhí)行;

3、MapReduce沒有認(rèn)證或授權(quán)的概念，某個頑劣的用戶可能為了讓自己的任務(wù)更快完成而降低其他Hadoop任務(wù)的優(yōu)先級，甚至直接殺掉其他任務(wù);

4、惡意開發(fā)人員能輕易假冒其他用戶，比如寫一個新的TaskTracker并將其注冊為Hadoop服務(wù)，或者冒充HDFS或MapReduce用戶，把HDFS里的東西全刪掉等等;

5、DataNode沒有訪問控制，惡意用戶可以繞過訪問控制從DataNode中讀取任意數(shù)據(jù)塊，或?qū)⒗鴶?shù)據(jù)寫到DataNode中破壞目標(biāo)分析數(shù)據(jù)的完整性;

對于運(yùn)營商、金融、政府、醫(yī)療保健和其它對敏感數(shù)據(jù)的訪問有嚴(yán)格監(jiān)管的行業(yè)的使用，則提出了更加全面的安全要求：

1、周邊安全：確認(rèn)用戶身份，確保集群訪問的安全。

2、數(shù)據(jù)安全：確保集群中的數(shù)據(jù)不會被非法訪問，包括已存儲的數(shù)據(jù)和傳輸中的數(shù)據(jù)。

3、訪問安全：通過文件系統(tǒng)ACL和細(xì)粒度授權(quán)，定義授權(quán)用戶和應(yīng)用程序?qū)簲?shù)據(jù)的權(quán)限。

4、可見性：通過審計(jì)報(bào)告出數(shù)據(jù)源和數(shù)據(jù)的用法。

李科介紹， BIG DAF是一款綜合權(quán)限控制產(chǎn)品，目前已經(jīng)對HDFS、MapReduce、Yarn、HBase進(jìn)行了支持，并且還支持內(nèi)存計(jì)算框架Spark。

其原理如下：

DAF控制器是該方案的核心，其作用位置在客戶端與大數(shù)據(jù)服務(wù)端之間，DAF控制器能夠識別來自各種客戶端的OP指令，并起到透明代理的作用，對于OP指令集的研究，除了Hadoop本身的WebHDFS協(xié)議以外，還支持流式的RPC協(xié)議。

DAF本身有基于OP指令集的ACL，這套ACL有別于Hadoop原生的權(quán)限體制，除了讀寫執(zhí)行這種基本權(quán)限，還增加了更多的權(quán)限，并且將用戶驗(yàn)證納入到DAF當(dāng)中，接管了Hadoop自身的用戶列表，因此設(shè)置用戶可以在安全的環(huán)境下進(jìn)行。

在識別兩端的同時，ACL主要包括：角色、用戶、數(shù)據(jù)、指令。有了ACL的控制，DAF控制器就可以準(zhǔn)確的識別客戶端的指令是否合規(guī)。在DAF的基礎(chǔ)上實(shí)現(xiàn)了訪問控制、訪問監(jiān)控、訪問審計(jì)。

BIG DAF是一款基于大數(shù)據(jù)基礎(chǔ)框架的網(wǎng)關(guān)形式訪問控制器，可兼容Kerberos。其未修改Hadoop、Spark生態(tài)源碼，兼容各種原生及商業(yè)發(fā)行版，實(shí)現(xiàn)了大數(shù)據(jù)的周邊安全、數(shù)據(jù)安全、訪問安全、可見性，且BIG DAF為獨(dú)立體系，無法從Hadoop、Spark生態(tài)上配置BIG DAF的安全策略，重要的一點(diǎn)是BIG DAF并不轉(zhuǎn)發(fā)流量，ACL與審計(jì)只針對主客體訪問行為，幾乎沒有性能消耗。

未來BIG DAF的發(fā)展方向?qū)⒉痪窒抻贖adoop本身，而是定位于大數(shù)據(jù)組件的安全解決方案，在產(chǎn)品方向上，將圍繞常用的大數(shù)據(jù)生態(tài)組件進(jìn)行支持，李科表示：“觀數(shù)科技定位是一家高科技企業(yè)，我們的優(yōu)勢是在大數(shù)據(jù)領(lǐng)域的核心技術(shù)研究，并非只限于Hadoop”。

目前，BIG DAF是唯一一款通過公安部檢測并頒發(fā)信息安全專業(yè)產(chǎn)品銷售許可證的Hadoop安全防護(hù)產(chǎn)品，并且已經(jīng)在一些政府大數(shù)據(jù)平臺進(jìn)行使用。另外，BIG DAF正積極與國內(nèi)知名云廠商合作，針對在線大數(shù)據(jù)平臺推出PAAS平臺的大數(shù)據(jù)安全組件。

觀數(shù)科技的BIG DAF在大數(shù)據(jù)安全這一空白領(lǐng)域，推出了真正自主來源的安全產(chǎn)品，它也將推動大數(shù)據(jù)技術(shù)在更多行業(yè)、組織和終端用戶的使用，同時為管理員提供靈活、安全的管理平臺。相信隨著大數(shù)據(jù)技術(shù)的成熟，未來將有更多的國產(chǎn)品牌加入這個大生態(tài)中。