大數(shù)據(jù)有多熱，Hadoop就有多熱。

與AWS在私有云市場動(dòng)作頻仍一樣，Hadoop近期熱點(diǎn)事件也不少。 Hortonworks提供Hadoop big-data platform for Windows測試版， EMC針對(duì)Cloudera發(fā)布名為“Pivotal HD”的Hadoop發(fā)行版， HP加入Hadoop并提供安全插件ArcSight。2月26日，在Hadoop無數(shù)的商業(yè)版和開源版中，同時(shí)擁有在Apache開源版基礎(chǔ)上修訂的發(fā)行版和免費(fèi)版兩個(gè)Hadoop版本的Intel 再次爆料：要將Hadoop直接集成到Xeon中。

對(duì)于大數(shù)據(jù)分析而言，最基礎(chǔ)的需求就是對(duì)于大量的結(jié)構(gòu)化和非結(jié)構(gòu)化數(shù)據(jù)，可以支持可變的數(shù)據(jù)結(jié)構(gòu)和高效的數(shù)據(jù)導(dǎo)入、查詢、統(tǒng)計(jì)分析。Hadoop在這些方面“當(dāng)仁不讓”。作為被稱為“或可媲美Linux”的項(xiàng)目，Hadoop吸引了諸多頂級(jí)玩家的加入。

以至于，目前市場上Hadoop發(fā)行版與開源版種類繁多。其中，不僅有Cloudera、HortonWorks、Amazon的EMR、MapR，也有IBM、Oracle、Microsoft、Intel、EMC等諸多版本的Hadoop。對(duì)Intel而言，其擁有在Apache開源版基礎(chǔ)上修訂的發(fā)行版和免費(fèi)版兩個(gè)Hadoop版本。前者鎖定行業(yè)客戶，如電信、視頻監(jiān)控、生產(chǎn)制造等，后者核心代碼和核心功能與前者相同，區(qū)別是支持節(jié)點(diǎn)數(shù)量和存儲(chǔ)容量。此外，Intel還在GitHub維護(hù)著Project Panthera開源項(xiàng)目，其中包括即時(shí)分析、基于HBase的文檔存儲(chǔ)、基于Hive/MapReduce的分析SQL引擎、HiBench和HiTune等子項(xiàng)目。

Intel Hadoop發(fā)行版

Intel架構(gòu)部門副總裁Boyd Davis說：“大數(shù)據(jù)生成很容易，但關(guān)鍵是要用起來。”圍繞這一點(diǎn)，EMC和HP本周都有所動(dòng)作。但I(xiàn)ntel所做的更為直接：將Hadoop直接固化到芯片中。“Hadoop架構(gòu)具有巨大的潛力，其完全可以做為硬件基礎(chǔ)層存在，并在此之上構(gòu)建可以實(shí)現(xiàn)水平分布的各式各樣的堆棧。”如此，對(duì)于IT經(jīng)理而言，自動(dòng)配置與評(píng)估，調(diào)優(yōu)和管理自然更為簡便。

芯片就是Xeon，并在網(wǎng)絡(luò)和I/0方面針對(duì)數(shù)據(jù)分析“新應(yīng)用層”有特別的優(yōu)化。

例如，通過固化Hadoop的Xeon處理器，Intel預(yù)計(jì)1TB的數(shù)據(jù)分析可以在7分鐘內(nèi)完成，而采用其他方案，預(yù)計(jì)將需要4小時(shí)以上。

除了使用AES-NI指令集有希望20倍的提升加密速度以外，Intel的Hadoop分布式框架還將通過固態(tài)驅(qū)動(dòng)器與緩存加速來實(shí)現(xiàn)優(yōu)化，查詢速度將比Hive快8.5倍;Intel Labs通過AVX和SSE 4.2進(jìn)行硬件增強(qiáng)壓縮以及Active Tunner對(duì)集群進(jìn)行自動(dòng)調(diào)優(yōu)。

而在安全方面，將提供一個(gè)“完整，加密”的Xeon處理器方案，從而使得用戶不需求犧牲性能即可實(shí)現(xiàn)數(shù)據(jù)的高安全性。

差不多24個(gè)合作伙伴可以幫助Intel將“固化Hadoop的Xeon解決方案”推廣到公有云和私有云中，比如Cisco，Dell和SAP。而為了加快部署，Intel還透露，會(huì)投資規(guī)模較小的大數(shù)據(jù)公司，如MongoDB和Guavus Anaytics，這樣在基于Apache Hadoop的數(shù)據(jù)分析解決方案方面將更加豐富。

寫在最后：

眾所周知，Hadoop底層硬件平臺(tái)多為Intel芯片，如此模式，是否會(huì)使Hadoop的競爭更加白熱化?!這讓譯者想到2012年7月一次會(huì)議中，中國聯(lián)通研究院副院長黃文良的介紹：

聯(lián)通Hadoop系統(tǒng)的后臺(tái)是178臺(tái)基于英特爾至強(qiáng)5600處理器的兩路刀片服務(wù)器，每臺(tái)服務(wù)器配備了14TB存儲(chǔ)容量。此外，系統(tǒng)還有3臺(tái)NameNode節(jié)點(diǎn)服務(wù)器、入庫服務(wù)節(jié)點(diǎn)服務(wù)器24臺(tái)、Zookeeper節(jié)點(diǎn)服務(wù)器7臺(tái)、集群監(jiān)控節(jié)點(diǎn)1臺(tái)和Web查詢應(yīng)用服務(wù)節(jié)點(diǎn)20臺(tái)。這些也都是IA架構(gòu)的x86服務(wù)器。

“我們也試過用Hadoop的開源版本，但是確實(shí)在性能上不如英特爾的Hadoop發(fā)行版，無論是監(jiān)控能力還是穩(wěn)定性都有很大區(qū)別。”