看起來Hadoop和大數(shù)據(jù)的光輝歲月正式走到頭了。

Apache軟件基金會已在短短11天內(nèi)宣布報廢13個與大數(shù)據(jù)有關(guān)的Apache項目，其中包括Sentry、Tajo和Falcon。

昔日大數(shù)據(jù)領(lǐng)域的寵兒Apache Hadoop早已過氣，最近這已不是什么秘密。不過自4月1日起，Apache軟件基金會（ASF）已宣布將至少19個開源項目“束之高閣”（Attic），其中13個項目與大數(shù)據(jù)有關(guān)，其中10個項目屬于Hadoop生態(tài)系統(tǒng)。

光榮榜

雖然宣布報廢單個項目似乎微不足道，可是從整體上來看，它們無異于一起分水嶺事件。為了幫助從業(yè)人員和行業(yè)觀察人士充分認識到這次大數(shù)據(jù)開源重組帶來的全面影響，盤點一下似乎很必要。

考慮到這點，與大數(shù)據(jù)有關(guān)的已報廢的Apache項目包括如下：

• Apex：這個統(tǒng)一的平臺面向大數(shù)據(jù)流和批處理，基于Hadoop YARN。
• Chukwa：這個數(shù)據(jù)收集系統(tǒng)用于監(jiān)控大型分布式系統(tǒng)，基于Hadoop分布式文件系統(tǒng)（HDFS）。
• Crunch，它提供了一套框架，用于編寫、測試和運行MapReduce（包括Hadoop MapReduce）管道。
• Eagle：這種分析解決方案用于立即發(fā)現(xiàn)大數(shù)據(jù)平臺（包括Hadoop）的安全和性能問題。
• Falcon：這種面向Hadoop的數(shù)據(jù)處理和管理解決方案，為數(shù)據(jù)移動、數(shù)據(jù)管道協(xié)調(diào)、生命周期管理和數(shù)據(jù)發(fā)現(xiàn)而設(shè)計。
• Hama：這種用于大數(shù)據(jù)分析的框架在Hadoop上運行，基于Bulk Synchronous Parallel范式。
• Lens：提供統(tǒng)一分析界面，將Hadoop與傳統(tǒng)數(shù)據(jù)倉庫集成起來，如同一個整體。
• Marmotta：一種面向鏈接數(shù)據(jù)的開放平臺。
• Metron：專注于實時大數(shù)據(jù)安全。
• PredictionIO：這種機器學(xué)習(xí)服務(wù)器用于管理和部署生產(chǎn)就緒的預(yù)測服務(wù)。
• Sentry：這種系統(tǒng)用于對Apache Hadoop中的數(shù)據(jù)和元數(shù)據(jù)執(zhí)行細粒度授權(quán)。
• Tajo：Hadoop上的大數(shù)據(jù)倉庫系統(tǒng)。
• Twill，使用Hadoop YARN的分布式功能以及類似運行中線程的編程模型。

房間里的大象

上面這份名單很長，而且是一份還包括非大數(shù)據(jù)項目的更長名單的一部分。很顯然，Apache軟件基金會正在做一番清理工作。此外，由于Cloudera和Hortonworks合并，Sentry和Metron實際上已遭棄用，對應(yīng)的Ranger項目和Spot項目改而受到追捧。兩家公司共同支持這所有四個項目，只有一對項目才能取得勝利。

這樁合并本身植根于大數(shù)據(jù)市場的合并?？梢哉f，這起大數(shù)據(jù)合并還能解釋上述報廢項目的整份名單。退一步說，在不到兩周的時間內(nèi)宣布報廢所有這些項目值得關(guān)注。

官方說法

ZDNet編輯Andrew Brust向Apache軟件基金會詢問了有關(guān)清理大數(shù)據(jù)項目的情況。Apache軟件基金會的營銷和公關(guān)副總裁Sally Khudairi通過電子郵件回復(fù)道：“Apache項目的活動在其一生中起伏不定，這取決于社區(qū)的參與情況。”Khudairi補充道：“從項目管理委員會（PMC）內(nèi)部到投票決定將項目束之高閣的理事會，我們審查和評估數(shù)個Apache項目的活動有所加大。”Khudairi還表示，Apache軟件基金會Apache Attic副總裁Hervé Boutemy“最近通過‘春季大掃除’，在過去幾個月清理掉了準(zhǔn)備報廢的十幾個項目，一直非常高效。”

盡管Apache軟件基金會聲稱這次大數(shù)據(jù)清理活動只是常規(guī)項目報廢一下子集中而已，但很明顯，大數(shù)據(jù)領(lǐng)域的形勢已發(fā)生了變化。Hadoop在開源分析技術(shù)的霸主地位已讓給了Spark，Hortonworks與舊的Cloudera之間項目無意義重復(fù)的現(xiàn)象已被終止，而這些項目當(dāng)中優(yōu)勝劣汰的自然選擇業(yè)已完成。

不妨注意點

同樣很顯然，在大數(shù)據(jù)世界，Apache Sentry方面大筆投入的眾多供應(yīng)商和客戶現(xiàn)在將需要彌補其損失，繼續(xù)前進。這個殘酷的現(xiàn)實帶來了幾乎適用于每個技術(shù)類別炒作周期的教訓(xùn)：社區(qū)為之興奮，開源技術(shù)遍地開花，生態(tài)系統(tǒng)確立起來。但是那些生態(tài)系統(tǒng)并不是永生的，幾乎任何新平臺（無論是商業(yè)平臺還是開源平臺）都存在固有的風(fēng)險。

用Apache軟件基金會的Khudairi的話來說：“每個項目背后的社區(qū)確保其代碼的活力（‘代碼不會自行編寫’），因此社區(qū)在某個項目上改變步伐的情況并不少見。”換句話說，先進技術(shù)令人興奮，但早期采用者要提防：先進技術(shù)也存在著變數(shù)。要小心，管理好風(fēng)險。