雅虎對Apache Hadoop到底做了什么
幾周前，Hortonworks在博客上強調(diào)了雅虎這幾年來對Hadoop作出的巨大貢獻(xiàn)。這有兩重含義：一、向前雇主致敬；二、證實雅虎仍然是Hadoop的主要貢獻(xiàn)者。
這個星期初，Cloudera回復(fù)了我們的博客，稱我們報道了一個誤導(dǎo)性的新聞。雖然我們通常不回復(fù)其他供應(yīng)商的博客（即使他們說了一些有疑議的事情），但我們覺得這次一定要回復(fù)。
在下面的許多文字中，他們聲稱Cloudera才是本年度Apache Hadoop的***貢獻(xiàn)者。
雖然Cloudera在過去的幾個月里確實增加了他們投放的補丁數(shù)，但將補丁數(shù)作為評判一個公司對Apache Hadoop貢獻(xiàn)的最重要指標(biāo)是有誤導(dǎo)性的。
為什么？因為根據(jù)投入的時間和工作量的不同，補丁是不同的。在貢獻(xiàn)者不斷獲取經(jīng)驗并開始進(jìn)行更復(fù)雜的任務(wù)時，他們的補丁通常會變大。一個補定可以像一個新功能或子系統(tǒng)一樣復(fù)雜，也可以像更正文檔里的一行拼寫錯誤一樣簡單。通常來說，新手貢獻(xiàn)小的修復(fù)補丁，而專家貢獻(xiàn)需要很大工作量的復(fù)雜補丁。
我們相信代碼的行數(shù)是一個重要的更為中肯的標(biāo)準(zhǔn)。雖然改正拼寫錯誤很有用，但它遠(yuǎn)不如添加新功能或修改重大錯誤來得重要。
和一兩行的補丁比較：
HDFSFederation：將近15000行代碼
HDFSEditLogsRe-write：將近10000行代碼（由Cloudera的工程師發(fā)起）
NextGenMapReduce：超過150000行代碼
當(dāng)你了解到今年Apache Hadoop收到的補丁有將近40%少于10行后，你就會意識到，只用補丁數(shù)量作為指標(biāo)將對事實造成嚴(yán)重的扭曲。
有一個事實就是，Hortonworks和雅虎一起貢獻(xiàn)的代碼行數(shù)達(dá)到了Apache Hadoop收到的代碼總行數(shù)的80%。這個數(shù)字（正如Owen在他的方法里描述的那樣）歸功于那些雇傭開發(fā)者完善Apache Hadoop的公司。那些公司通過支持員工為Apache Hadoop編寫代碼來幫助Apache Hadoop的發(fā)展，而這只有在這些企業(yè)得到認(rèn)可時才顯得公平。
這里有一個圖標(biāo)展示了2006年以來Apache Hadoop收到的代碼的總行數(shù)，這表基于在貢獻(xiàn)時期雇傭了開發(fā)者的公司。
Cloudera聲稱認(rèn)可應(yīng)該給開發(fā)者的現(xiàn)任雇主，不應(yīng)考慮前雇主的投資。我們同意個人，而非公司，才是開源項目貢獻(xiàn)者；但我們不認(rèn)為我們可以忽略公司對建造Apache Hadoop所作出的投入。只有把在雅虎時的作出的貢獻(xiàn)和雅虎作出的貢獻(xiàn)都考慮進(jìn)去才顯得公平。
不管怎樣，我們使用Cloudera的方法計算了從2006年到現(xiàn)在貢獻(xiàn)給Apache Hadoop的代碼行數(shù)，并得到如下結(jié)果：
這個圖標(biāo)著重于顯示那些最活躍的Apache Hadoop貢獻(xiàn)者現(xiàn)在都在那里就職。我們?yōu)楫?dāng)時的同事感到驕傲，現(xiàn)在他們?nèi)チ讼馞acebook、LinkedIn、eBay等公司去傳播他們的知識和經(jīng)驗。值得注意的是這個方法對Hortonworks和其他公司有利，但沒有很大地改變Cloudera的貢獻(xiàn)。
雖然現(xiàn)在有一個積極的生態(tài)網(wǎng)讓人才（多為雅虎的人才）在各公司中流動，但Hortonworks和雅虎雇傭的開發(fā)者仍然貢獻(xiàn)了Apache Hadoop的大部分代碼。
如果你只看用Cloudera的方法算出的2011年的結(jié)果，那么情況大致一樣：
正如你所看到的，Hortonworks和雅虎是Apache Hadoop的兩大貢獻(xiàn)者，它們目前貢獻(xiàn)了大約68%的代碼行數(shù)。正如Owen在他博客里強調(diào)的及我常說的，我們很高興看到其他公司對Apache Hadoop的貢獻(xiàn)率上升。我認(rèn)為這是一個健康的、正在成長的生態(tài)系統(tǒng)的表現(xiàn)。
最近有一些圖表帶有代碼行數(shù)和補丁數(shù)兩個數(shù)值，根據(jù)貢獻(xiàn)者在他們貢獻(xiàn)期時的雇主。***個表展示了自2006年來的總數(shù)以說明一些歷史的觀點：
第二個表展示了2011年貢獻(xiàn)的代碼行數(shù)和補丁數(shù)：
Cloudera在他們的博客中指出：他們已經(jīng)增加了貢獻(xiàn)給Apache Hadoop的補丁量，對此我們贊賞他們的這一行為。然而，他們省略了很重要的一點，那就是Hortonworks和雅虎仍然是Apache Hadoop項目的***貢獻(xiàn)者。這是一個不爭的事實。
***，讓我指出我們聚焦于Apache Hadoop核心的分析，即是Common、HDFS和MapReduce。每個分布都包含了兩個或兩個以上這些項目，沒有這些項目我們無法建立Hadoop。
雅虎也幫助了其他項目比如ZooKeeper、Pig、HCatalog、Avro及Ambari。雅虎和Hortonworks都有專業(yè)的技術(shù)并將繼續(xù)幫助這些項目。其他公司也在其它項目中提供專業(yè)技術(shù)，比如Facebook對Hive，及Facebook、Stumbleupon和TrendMico對HBase。Cloudera在近期提交給Apache的項目中也有專業(yè)技術(shù)，包括Bigtop、Sqoop、Whirr和Flume。生態(tài)系統(tǒng)中也有一些項目可以加到分析中，包括Azkaban、Cascading、Cassandra、Giraph、Hama、Hypertable、Kafka、JAQL、Mahout、Mesos、OpenMPI、R、Spark及Thrift等等。在Hadoop項目的分析中添加任意一個項目都會改變主題。
總結(jié)
讓我重申一遍：Hortonworks是Apache Hadoop的重要貢獻(xiàn)者，它加速了Hadoop的發(fā)展及它在全球的普及度。我們很激動地看到了不斷有個人和公司作出貢獻(xiàn)。我們很高興能與Apache Hadoop社區(qū)一起工作，對此我們已經(jīng)做了將近6年。
我們相信，ApacheSoftwareFoundation對Hadoop的持有是Hadoop的一個重要優(yōu)勢。我們?yōu)樽约翰怀钟写a而感到驕傲。我們把100%的代碼都貢獻(xiàn)給了Apache。我們沒有任何專利軟件。我們所有的代碼都給了Apache，以此來讓Apache變得更好。我們相信這是創(chuàng)造一個有活力的Hadoop社區(qū)和生態(tài)系統(tǒng)最快***的方法。
***，我們深信我們是Apache Hadoop領(lǐng)域最資深的公司，我們在協(xié)助企業(yè)和技術(shù)供應(yīng)商與Apache Hadoop中也處于很重要的位置。
【編輯推薦】
