pache Hadoop 今年10歲了

[[175417]]

這個(gè)以處理大量數(shù)據(jù)的實(shí)驗(yàn)做為開(kāi)端的開(kāi)源軟件框架，已經(jīng)穩(wěn)步成長(zhǎng)為以前所未有的方式解鎖信息價(jià)值的成熟企業(yè)解決方案。今天，企業(yè)運(yùn)用Hadoop解決各種各樣的問(wèn)題，從改善人類健康，到挖掘最大金融投資潛力，等等等等。10年間，業(yè)內(nèi)見(jiàn)證了一個(gè)以Hadoop為中心的龐大生態(tài)系統(tǒng)的誕生和快速發(fā)展。

現(xiàn)代企業(yè)場(chǎng)景里，安全和風(fēng)險(xiǎn)從業(yè)者迅速認(rèn)識(shí)到，數(shù)據(jù)洞見(jiàn)是理解、識(shí)別和解決企業(yè)威脅的關(guān)鍵。

我們開(kāi)始意識(shí)到，網(wǎng)絡(luò)安全，從很多方面上講，就是個(gè)數(shù)據(jù)分析問(wèn)題。正是由于這個(gè)原因，Hadoop，攜其對(duì)海量數(shù)據(jù)的吸收、處理和分析能力，被廣泛采納來(lái)解決我們面臨的各種挑戰(zhàn)。

安全方面，Hadoop讓用戶可以圈住他們企業(yè)產(chǎn)出的所有數(shù)據(jù)。他們對(duì)網(wǎng)絡(luò)、用戶、終端乃至物聯(lián)網(wǎng)(IoT)產(chǎn)生的信息都有完全的訪問(wèn)權(quán)——正是生產(chǎn)對(duì)可疑行為、異常和其他威脅指標(biāo)的分析結(jié)果所需的那些東西。除此之外，Hadoop還能讓企業(yè)可以利用機(jī)器學(xué)習(xí)和各種靈活的即插即用程序，無(wú)論它們來(lái)自專利產(chǎn)品還是開(kāi)源市場(chǎng)。有了Hadoop，你就有了足以應(yīng)付當(dāng)前和新興挑戰(zhàn)的解決方案。

情況并不總是這樣的。10年前，安全社區(qū)中很多人都覺(jué)得安全信息和事件管理(SIEM)，以及其他遺留產(chǎn)品就足夠了。我們以為這些就能提供生產(chǎn)必要分析結(jié)果所需的全部相關(guān)信息，可以應(yīng)對(duì)網(wǎng)絡(luò)安全問(wèn)題。但隨著云、移動(dòng)、分布式計(jì)算和IoT的飛速發(fā)展，我們明白了，這些系統(tǒng)根本不夠強(qiáng)大到能處理所有動(dòng)態(tài)數(shù)據(jù)源，也無(wú)法應(yīng)付膨脹至今的巨大規(guī)模。

SIEM和其他遺留解決方案，本就不是為海量數(shù)據(jù)設(shè)計(jì)的;分析師想緊跟對(duì)手發(fā)展速度，確保有效檢測(cè)能力，用這些遺留系統(tǒng)也肯定是獲取不到所需全部分析結(jié)果或上下文的。

安全人員受制于此類工具提供的數(shù)據(jù)和分析時(shí)，解決風(fēng)險(xiǎn)的可能做法也同樣被限制了。受限的功能，讓我們這些負(fù)責(zé)公司防御的人，只能找到商用、已知和不怎么高級(jí)的攻擊。隨著Hadoop的出現(xiàn)，可用安全用例一下子擴(kuò)展了許多。

多虧有了更大的數(shù)據(jù)集和更寬泛的可用分析技術(shù)，我們可以解答關(guān)于攻擊、威脅和風(fēng)險(xiǎn)的問(wèn)題了。有了Hadoop，企業(yè)可以獲得用戶行為分析以識(shí)別和緩解內(nèi)部人威脅，標(biāo)定網(wǎng)絡(luò)中的可疑橫向移動(dòng)，甚至跨部門(mén)共享威脅情報(bào)。

安全人員職業(yè)生涯總是圍繞著3個(gè)問(wèn)題：更快的事件檢測(cè)，加強(qiáng)事件響應(yīng)，以及理解這些情況對(duì)企業(yè)的影響。有了Hadoop，所有這三點(diǎn)都成為了可能，因?yàn)?，從設(shè)計(jì)上，Hadoop就提供對(duì)信息、分析和上下文理解的訪問(wèn)。

安全社區(qū)不再受單一應(yīng)用風(fēng)險(xiǎn)視角的限制。Hadoop的靈活性，讓團(tuán)隊(duì)可以獲取問(wèn)題的解答，而不是只能看到各安全應(yīng)用和系統(tǒng)吐出的不同觀點(diǎn)。值得指出的是，Hadoop處在集成專利和開(kāi)源安全技術(shù)以產(chǎn)出全面網(wǎng)絡(luò)安全防御的前沿。比如說(shuō)，在開(kāi)源方面，開(kāi)放網(wǎng)絡(luò)洞見(jiàn)(ONI)項(xiàng)目，便是采用開(kāi)放數(shù)據(jù)模型和大數(shù)據(jù)分析，向Hadoop平臺(tái)引入高級(jí)威脅檢測(cè)解決方案的首批項(xiàng)目之一。

以上便是Hadoop何以快速成為網(wǎng)絡(luò)安全工具不二之選的總體介紹。該平臺(tái)還有很多實(shí)際應(yīng)用，其開(kāi)放性也讓網(wǎng)絡(luò)安全人員得以引入可以減少整體風(fēng)險(xiǎn)和暴露面的一系列功能。當(dāng)然，這些，又是另一個(gè)值得探討的話題了。