本年度Hadoop World會(huì)議上最火的一則消息可能就是Cloudera決定提供Apache Spark的全企業(yè)級(jí)支持——類似Hadoop發(fā)行版里的定制內(nèi)容及付費(fèi)產(chǎn)品支持，不僅僅是技術(shù)整合。這進(jìn)一步證明了未來(lái)Hadoop的工作負(fù)載比現(xiàn)在和過(guò)去的看起來(lái)大不一樣。

Spark是一個(gè)內(nèi)存中的數(shù)據(jù)處理平臺(tái)，兼容Hadoop數(shù)據(jù)源，但是比Hadoop MapReduce運(yùn)行的更快。它非常適合機(jī)器學(xué)習(xí)作業(yè)，以及交互式數(shù)據(jù)查詢，非常易于開發(fā)者使用，因?yàn)樗薙cala、Python、Java的API。Spark已經(jīng)在大量的網(wǎng)絡(luò)公司和網(wǎng)絡(luò)創(chuàng)業(yè)公司中使用，一個(gè)旨在商業(yè)化Spark的初創(chuàng)公司Databricks近日獲得了1400萬(wàn)美元的風(fēng)險(xiǎn)投資。

實(shí)際上，Databricks是Cloudera Connet的***個(gè)合作伙伴，它將幫助Cloudera提供支持，在Apache Spark未來(lái)發(fā)展中也將與大的Hadoop供應(yīng)商合作，Cloudera公司聯(lián)合創(chuàng)始人兼CTO Amr Awadallah解釋了這個(gè)合作關(guān)系，也作為所有潛在客戶的合作關(guān)系：將作為Cloudera所有感興趣的客戶創(chuàng)新的樞紐。Databricks以類似OEM的關(guān)系獲益，但該協(xié)議僅限于擴(kuò)展Apache Spark，不會(huì)發(fā)布任何商業(yè)版本的Databricks。

除下Databricks和Cloudera建立在Spark上的合作之外，Hortonworks也在致力流處理引擎Storm的企業(yè)級(jí)應(yīng)用，這些探索都是非常重要的，因?yàn)橹贿\(yùn)行MapReduce的Hadoop永遠(yuǎn)都無(wú)法取得長(zhǎng)期勝利?，F(xiàn)在，YARN資源管理層已經(jīng)可以投入使用，Cloudera和Hortonworks不用浪費(fèi)任何時(shí)間為Hadoop未來(lái)的工作負(fù)載做準(zhǔn)備，坦白來(lái)說(shuō)，面對(duì)本質(zhì)上Hadoop變成能支持可擴(kuò)展性的開源數(shù)據(jù)層，我不明白過(guò)去幾年那些對(duì)Hadoop持懷疑態(tài)度的人依然能夠堅(jiān)持，理論上，你可以使用它來(lái)處理任何類型。

Awadallah指出，雖然MapReduce仍然能流行一段時(shí)間，但是作為事實(shí)上的通用數(shù)據(jù)處理平臺(tái)，Hadoop的未來(lái)應(yīng)該更好。