Yahoo公布Hadoop的源代碼
根據(jù)國外媒體報道,Yahoo公布了Hadoop的源代碼,Hadoop是一個開源的Java并行編程框架,它是Map/Reduce的開源版本,而Map/Reduce則是Google用在計算機簇上對大規(guī)模數(shù)據(jù)進行分布式計算的架構(gòu)。
該源代碼可以再Yahoo的網(wǎng)站上下載(http://developer.yahoo.com/hadoop/distribution/),是0.20 alpha版,其中包括一個可以讓多個用戶通過不同的隊列共享一個簇的規(guī)劃器。源代碼中還包含了一段Yahoo添加的用于提高穩(wěn)定性和執(zhí)行性能的代碼段。這些代碼段已經(jīng)加入到了Apache中,不過在現(xiàn)有的Hadoop源代碼的Apache發(fā)行版中還沒有這些代碼。Yahoo目前在其產(chǎn)品中提供的是Hadoop 0.18.3版。
Hadoop源代碼是由Doug Cutting開發(fā),它實現(xiàn)了Map/Reduce的技術(shù),該技術(shù)可以將應(yīng)用程序分解為多個工作片段,每一個片段都可以在簇中的任何一個節(jié)點中運行。它還支持HDFS分布式文件系統(tǒng),該文件系統(tǒng)將數(shù)據(jù)存儲在簇的節(jié)點中,以此來提高帶寬利用。
【編輯推薦】