大數(shù)據(jù)平臺(tái)安全伴隨著大數(shù)據(jù)平臺(tái)而生。隨著互聯(lián)網(wǎng)和大數(shù)據(jù)應(yīng)用的普及，新聞?lì)^條上發(fā)布的數(shù)據(jù)泄露、濫用、詐騙層出不窮，引發(fā)了一系列發(fā)人深思的社會(huì)事件和問題。

本文主要分三個(gè)部分：

1. 大數(shù)據(jù)發(fā)現(xiàn)面臨的安全挑戰(zhàn)
2. 大廠大數(shù)據(jù)安全實(shí)踐
3. 總結(jié)

本文以大數(shù)據(jù)發(fā)展面臨的安全挑戰(zhàn)開篇。

一、大數(shù)據(jù)發(fā)現(xiàn)面臨的安全挑戰(zhàn)

(1)傳統(tǒng)安全保護(hù)手段失效：大數(shù)據(jù)應(yīng)用使用開放的分布式計(jì)算和存儲(chǔ)框架來提供海量數(shù)據(jù)分布式存儲(chǔ)和計(jì)算服務(wù)。新技術(shù)、新架構(gòu)、新型攻擊手段帶來新的挑戰(zhàn)，使得傳統(tǒng)的安全保護(hù)手段暴露出嚴(yán)重的不足。

(2)大數(shù)據(jù)平臺(tái)安全機(jī)制缺陷：Hadoop生態(tài)架構(gòu)在設(shè)計(jì)初期對(duì)用戶身份鑒別、訪問控制、密鑰管理、安全審計(jì)等方面考慮較少，并且大數(shù)據(jù)應(yīng)用中多采用第三方開源組件，對(duì)這些組件缺乏嚴(yán)格的測試管理和安全認(rèn)證。

(3)數(shù)據(jù)應(yīng)用訪問控制難度大：有在大廠工作經(jīng)驗(yàn)的人都知道，數(shù)據(jù)應(yīng)用有報(bào)表類、運(yùn)營類、取數(shù)類等等，各類數(shù)據(jù)應(yīng)用通常要為不同身份和目的的用戶提供服務(wù)，在身份鑒別、訪問控制、審計(jì)溯源上都帶來了巨大的挑戰(zhàn)。

(4)數(shù)據(jù)量大、潛在價(jià)值高，極易成為攻擊目標(biāo)：大數(shù)據(jù)平臺(tái)處理環(huán)節(jié)多，需要針對(duì)數(shù)據(jù)采集、傳輸、存儲(chǔ)、處理、交換和銷毀等生命周期各階段進(jìn)行安全防護(hù)，在不同階段采取適合的安全技術(shù)保護(hù)機(jī)制。

(5)數(shù)據(jù)濫用或偽脫敏風(fēng)險(xiǎn)增長：隨著數(shù)據(jù)挖掘、機(jī)器學(xué)習(xí)、人工智能等學(xué)科領(lǐng)域技術(shù)研究的深入，數(shù)據(jù)濫用情況加劇。并且很多公開說明脫敏或者匿名處理的數(shù)據(jù)，有可能分析出對(duì)應(yīng)的真實(shí)明細(xì)信息。

(6)數(shù)據(jù)所有者權(quán)限問題突顯：數(shù)據(jù)共享和流通是大數(shù)據(jù)發(fā)展的關(guān)鍵，但是在很多大數(shù)據(jù)應(yīng)用場景中，存在數(shù)據(jù)所有權(quán)不清晰的情況，例如：數(shù)據(jù)挖掘分析人員會(huì)對(duì)原始數(shù)據(jù)進(jìn)行處理，分析出新的數(shù)據(jù)，這些數(shù)據(jù)的所有權(quán)到底屬于原始數(shù)據(jù)所有方還是數(shù)據(jù)挖掘方，這個(gè)問題還很多場景下還沒有定論。

(7)大數(shù)據(jù)安全法規(guī)標(biāo)準(zhǔn)不完善：不論是在公司內(nèi)部還是國家范圍內(nèi)，大數(shù)據(jù)應(yīng)用的使用促進(jìn)了經(jīng)濟(jì)的發(fā)展，數(shù)據(jù)價(jià)值的最大化。然而要推進(jìn)大數(shù)據(jù)健康發(fā)展，要加強(qiáng)政策、監(jiān)管、法律的統(tǒng)籌協(xié)調(diào)，加快法律法規(guī)建設(shè)。

二、大廠大數(shù)據(jù)安全實(shí)踐

看到上述如此多的挑戰(zhàn)。大家是不是對(duì)大廠的大數(shù)據(jù)安全實(shí)踐充滿了好奇，廢話不多說，下面直插主題：

2.1阿里云大數(shù)據(jù)安全管控體系架構(gòu)

核心安全措施：

1. 訪問控制和隔離：實(shí)施多租戶訪問隔離措施，數(shù)據(jù)安全分類分級(jí)劃分，支持基于標(biāo)簽的強(qiáng)制訪問控制，提供基于ACL的數(shù)據(jù)訪問授權(quán)模型，提供數(shù)據(jù)視圖的訪問控制。
2. 敏感信息保護(hù)：提供數(shù)據(jù)脫敏和加密功能。
3. 密鑰管理和鑒權(quán)：提供統(tǒng)一的密鑰管理和訪問鑒權(quán)服務(wù)，支持多因素鑒權(quán)模型。
4. 安全審計(jì)：提供數(shù)據(jù)訪問審計(jì)日志。
5. 數(shù)據(jù)血緣：支持?jǐn)?shù)據(jù)血緣追蹤，可跟蹤數(shù)據(jù)流向。
6. 審批和預(yù)警：支持?jǐn)?shù)據(jù)導(dǎo)出控制，支持人工審批或系統(tǒng)預(yù)警;提供數(shù)據(jù)質(zhì)量保障系統(tǒng)，對(duì)交換的數(shù)據(jù)進(jìn)行數(shù)據(jù)質(zhì)量評(píng)測和監(jiān)控預(yù)警。
7. 數(shù)據(jù)生命周期管理：提供從采集、存儲(chǔ)、使用、傳輸、共享、發(fā)布、銷毀等基于數(shù)據(jù)生命周期的技術(shù)和管理措施

2.2螞蟻金服大數(shù)據(jù)安全防護(hù)體系

核心安全措施：

1. 持續(xù)進(jìn)行數(shù)據(jù)安全頂層治理：數(shù)據(jù)安全策略à數(shù)據(jù)安全管理à數(shù)據(jù)安全執(zhí)行。
2. 建立健全數(shù)據(jù)安全制度流程：確保在業(yè)務(wù)運(yùn)營過程中的數(shù)據(jù)安全風(fēng)險(xiǎn)可控，數(shù)據(jù)使用有章可循。
3. 建立數(shù)據(jù)安全內(nèi)控體系和審計(jì)監(jiān)督機(jī)制：通過統(tǒng)一身份管理、統(tǒng)一健全、統(tǒng)一日志等方式建立體系化的審計(jì)監(jiān)督機(jī)制，利用大數(shù)據(jù)風(fēng)險(xiǎn)分析技術(shù)，建立數(shù)據(jù)使用異常分析控制，及時(shí)識(shí)別業(yè)務(wù)運(yùn)營過程中的數(shù)據(jù)使用風(fēng)險(xiǎn)。
4. 建立以數(shù)據(jù)為中心的風(fēng)險(xiǎn)管理體系：從數(shù)據(jù)、人員、產(chǎn)品三個(gè)方面重點(diǎn)進(jìn)行風(fēng)險(xiǎn)管理體系建設(shè)。數(shù)據(jù)方面，覆蓋采集、分析處理、輸出等多個(gè)大學(xué)虎踞管理重點(diǎn);人員方面，建立了信息安全評(píng)分及員工行為風(fēng)險(xiǎn)量化機(jī)制，準(zhǔn)確識(shí)別和管控員工使用、處理數(shù)據(jù)過程中的各維度風(fēng)險(xiǎn);產(chǎn)品方面，對(duì)用戶隱私進(jìn)行全方位保護(hù)。
5. 構(gòu)建生態(tài)數(shù)據(jù)安全賦能產(chǎn)品，聯(lián)合生態(tài)伙伴，共同提升生態(tài)數(shù)據(jù)安全能力：在與合作伙伴合作的過程中，建立一套完整的合作伙伴數(shù)據(jù)安全風(fēng)險(xiǎn)識(shí)別機(jī)制，通過敏感數(shù)據(jù)檢測、調(diào)用歷史基線偏離、離群行為等大數(shù)據(jù)異常檢測技術(shù)，實(shí)現(xiàn)對(duì)生態(tài)或作伙伴的敏感信息泄露等風(fēng)險(xiǎn)的監(jiān)控。也通過差分隱私和K匿名等技術(shù)措施提升個(gè)人隱私和數(shù)據(jù)安全保障能力。并將該能力產(chǎn)品化賦能生態(tài)企業(yè)。

2.3中國移動(dòng)大數(shù)據(jù)安全保障體系

核心安全措施：

• 安全策略體系：從頂層設(shè)計(jì)層面明確安全保障工作總體要求及方向指南。
• 安全管理體系：通過管理制度建設(shè)，明確運(yùn)營方安全主體責(zé)任，落實(shí)安全管理措施。
• 安全運(yùn)營體系：通過定義運(yùn)營角色，明確運(yùn)營機(jī)構(gòu)安全職責(zé)，實(shí)現(xiàn)對(duì)大數(shù)據(jù)業(yè)務(wù)及數(shù)據(jù)的全流程、全周期安全管理。
• 安全技術(shù)體系：公司開展大數(shù)據(jù)安全防護(hù)建設(shè)相關(guān)要求和實(shí)施方法，體系設(shè)計(jì)涵蓋數(shù)據(jù)流轉(zhuǎn)各環(huán)節(jié)數(shù)據(jù)安全防護(hù)通用技術(shù)要求、大數(shù)據(jù)平臺(tái)各類基礎(chǔ)設(shè)施及應(yīng)用組件安全基線配置能力要求等。
• 安全合規(guī)評(píng)測體系：包括安全運(yùn)營管理合規(guī)評(píng)測和安全技術(shù)合規(guī)評(píng)測方法、評(píng)測手段和評(píng)測流程。
• 大數(shù)據(jù)服務(wù)支撐體系：基于大數(shù)據(jù)資源為信息安全保障提供支撐服務(wù)，開展大數(shù)據(jù)在安全領(lǐng)域的研究及推廣應(yīng)用，為公司信息安全治理提供新型技術(shù)手段，并支撐對(duì)外安全服務(wù)，實(shí)現(xiàn)數(shù)據(jù)增值。

2.4IBM Security Guardium 數(shù)據(jù)安全保護(hù)體系

核心安全措施：

對(duì)來自各種應(yīng)用和用戶的hadoop和nosql的數(shù)據(jù)訪問進(jìn)行全面實(shí)時(shí)監(jiān)控。在應(yīng)用或用戶違反安全策略時(shí)進(jìn)行實(shí)時(shí)預(yù)警并在SIEM儀表盤中顯示警告信息。

• 通過審計(jì)和報(bào)告方式來滿足合規(guī)要求并能提供法律所要求的合規(guī)證據(jù)。
• 對(duì)高流量、高速度、多類型的大數(shù)據(jù)進(jìn)行全面的變更管理。
• 對(duì)企業(yè)的全部數(shù)據(jù)(數(shù)據(jù)庫、應(yīng)用、文件、大數(shù)據(jù))等進(jìn)行集中式、自動(dòng)化的管控。
• 通過加密、屏蔽、掩碼等方式保護(hù)敏感數(shù)據(jù)。
• 評(píng)估和解決大數(shù)據(jù)環(huán)境中的漏洞，保證大數(shù)據(jù)系統(tǒng)自身是安全的。

2.5Microsoft大數(shù)據(jù)安全框架

核心安全措施：

1)網(wǎng)絡(luò)安全：企業(yè)管理員可在虛擬網(wǎng)絡(luò) (VNET) 中創(chuàng)建群集，并使用網(wǎng)絡(luò)安全組 (NSG) 限制對(duì)虛擬網(wǎng)絡(luò)的訪問。只有入站 NSG 規(guī)則中允許的 IP 地址才能與 HDInsight 群集通信。

2)身份認(rèn)證：提供基于 Active Directory 的身份驗(yàn)證、多用戶支持和基于角色的訪問控制。

3)授權(quán)：管理員可以配置基于角色的訪問控制 (RBAC) 來確保ApacheHive、HBase和 Kafka的安全性，只需使用 Apache Ranger 中的這些插件即可。可以通過配置 RBAC 策略將權(quán)限與組織中的角色相關(guān)聯(lián)。

4)審核：管理員可以查看和報(bào)告對(duì) HDInsight 群集資源與數(shù)據(jù)的所有訪問，跟蹤對(duì)資源的未經(jīng)授權(quán)或非故意的訪問。管理員還可以查看和報(bào)告對(duì)在 Apache Ranger 支持的終結(jié)點(diǎn)中創(chuàng)建的訪問控制策略進(jìn)行的所有更改。

5)加密：應(yīng)對(duì)數(shù)據(jù)加密。

三、結(jié)束語：

綜上所述，結(jié)合筆者自己的實(shí)踐，大數(shù)據(jù)平臺(tái)安全建設(shè)應(yīng)根據(jù)平臺(tái)規(guī)模、大數(shù)據(jù)安全建設(shè)人員投入數(shù)量、歷史案件比例等因素做調(diào)整，最合適的是才是最好的。

1. 最基本需要具備：權(quán)限管理、訪問控制、審計(jì)溯源、下載管控;
2. 進(jìn)階需要具備：賬號(hào)體系管理、資源管理(資源呈現(xiàn)與檢索)、數(shù)據(jù)管理(分類分級(jí)、脫敏、加密、血緣、標(biāo)簽和敏感數(shù)據(jù)識(shí)別等);
3. 高階需要具備：統(tǒng)一配置管理、統(tǒng)一運(yùn)維管理、統(tǒng)一告警管理、大數(shù)據(jù)代碼審計(jì)產(chǎn)品。

上述僅代表個(gè)人當(dāng)前意見，如有異議可以多溝通多交流。