少數(shù)公共云計算服務(wù)供應(yīng)商(如Google公司、IBM公司、微軟公司以及Oracle公司)正從Amazon 網(wǎng)絡(luò)服務(wù)(AWS)中得到啟示，并已涉足“大數(shù)據(jù)”分析領(lǐng)域和多方面的開源項目Hadoop/MapReduce。

　　基于云計算的Hadoop/MapReduce應(yīng)用程序最初出現(xiàn)于2009年，當(dāng)時AWS發(fā)布了其EC2和簡單存儲服務(wù)(S3)的彈性MapReduce網(wǎng)絡(luò)服務(wù)。之后，Google公司在2010年年中的時候發(fā)布了Mapper API的實驗性版本，即App Engine MapReduce工具箱的第一個組件。自2011年5月開始，開發(fā)人員就能夠在Google App Engine上運行完整的MapReduce任務(wù)。但是，在這種情況下，限速是必須的，這樣可以防止消耗所有可用的資源以及防止網(wǎng)絡(luò)訪問。

　　Google公司在2011年5月增加了一個文件API存儲系統(tǒng)，同年7月又為小型數(shù)據(jù)庫(最多100MB)提供了Python整理功能。該公司承諾將進一步開發(fā)以適應(yīng)更大容量的需求，并將在短期內(nèi)發(fā)布一個Java版和MapperAPI。

　　這就是2011年下半年Hadoop/MapReduce的下一步整合計劃。

　　Hadoop/MapReduce的整合計劃

　　Oracle公司于2011年十月發(fā)布了一個該公司Oracle Open World的大數(shù)據(jù)應(yīng)用。在發(fā)布說明中是這樣介紹的，該應(yīng)用是一個“全新設(shè)計的系統(tǒng)”，其中包括Apache Hadoop的一個開源發(fā)布、Oracle NoSQL數(shù)據(jù)庫、用于Hadoop的Oracle數(shù)據(jù)集成應(yīng)用程序適配器、用于Hadoop的Oracle Loader以及MapR的一個開源發(fā)布。

　　該應(yīng)用似乎主要是使用Hadoop來實現(xiàn)對Oracle關(guān)系型數(shù)據(jù)庫云計算版本的提取、轉(zhuǎn)換和載入(ETL)等操作。Oracle公司的NoSQL數(shù)據(jù)庫是基于BerkeleyDB嵌入式數(shù)據(jù)庫的，該產(chǎn)品是在Oracle公司于2006年并購SleepyCat軟件公司時得到的。

　　同樣適用于開放世界的Oracle公共云計算支持諸多開發(fā)標(biāo)準(zhǔn)，如JSP、JSF、servlet、EJB、JPA、JAX-RS以及JAX-WS。因此，你可以把你自己的Hadoop實施與Hadoop連接器集成在一起。目前，還沒有任何跡象表明，Oracle公司將把Hadoop/MapReduce打包進其公共云計算產(chǎn)品中，但是來自于競爭對手AWS、IBM公司、微軟公司甚至Google公司的壓力將會迫使Oracle公司將Hadoop/MapReduce納入其企業(yè)級公共云計算產(chǎn)品中。

　　在2011年10月召開的PASS大會上，微軟公司承諾在2011年底前為其Windows Azure發(fā)布一個基于Hadoop的服務(wù);公司副總裁Ted Kummert表示在2012年將會舉行一次針對Windows服務(wù)器的社區(qū)技術(shù)預(yù)覽。Kummert還宣布了與Hortonworks公司建立了戰(zhàn)略合作伙伴關(guān)系，此舉將有助于Windows Azure促進Hadoop的進一步成熟。

　　Kummert介紹了一個新的可用于實現(xiàn)SQL Server 2008 R2與Hadoop之間數(shù)據(jù)傳輸?shù)腟QL Server-Hadoop連接器，該方法似乎類似于Oracle公司Hadoop連接器的概念。SQL Server團隊成員之一的Denny Lee演示了使用HiveODBC驅(qū)動器對一個Windwos數(shù)據(jù)庫Hadoop中日志數(shù)據(jù)的HiveQL查詢。

　　Kummert說，該功能將在2011年11月作為CTP而發(fā)布。微軟公司通常不為Windows Azure CTP付費，但是按小時計的Windows Azure計算資源和按月計的存儲費用依然適用。

　　處于工程階段的微軟與IBM項目

　　在微軟研究團隊對Dryad和Dryad LINQ經(jīng)過多年研究之后，微軟公司的高性能計算(HPC)研發(fā)團隊于2011年6月發(fā)布了Windows HPC Server集群Beta2版和LINQ HPC R2 SP2。其最為常見的配置是一個被稱為“突發(fā)場景”的混合云計算模型，其中頭記錄位于本地，而大量計算記錄根據(jù)實際負(fù)載的情況作為Windows Azure虛擬機運行，同時文件組存儲在Windows Azure驅(qū)動器。

　　另一個微軟研究項目“Daytona”的研發(fā)團隊聲稱Daytona是具有用戶友好Excel DataScope用戶界面的MapReduce runtime，但該應(yīng)用仍處于CTP的早期階段。Hadoop的普遍性和跟蹤記錄可能會對微軟公司的服務(wù)器和云計算平臺團隊做出真正貢獻產(chǎn)生負(fù)面影響。

　　IBM公司憑IBM SmartCloud Enterprise的IBM inforSphere BigInsights(一個基于Hadoop的分析軟件)從而最后一個登上Hadoop云計算的末班車。云計算BigInsights有基本版和企業(yè)版兩個版本，并可選擇進行公共云、私有云和混合云的部署。

　　基本版是一個入門級、免費的選項，該版本可幫組企業(yè)學(xué)習(xí)如何進行大數(shù)據(jù)分析，其中包括應(yīng)用其Bigsheets組件、基于瀏覽器的分析工具進行場景假設(shè)分析。當(dāng)一切準(zhǔn)備就緒時，客戶可以無縫升級至企業(yè)版并設(shè)置Hadoop集群，以較低使用率開始分析數(shù)據(jù)，其初始價格為0.6美元/集群小時。這兩個版本包括一個開發(fā)者沙箱，有了它客戶就可以使用工具和測試開發(fā)環(huán)境建立一個新一代的業(yè)務(wù)分析應(yīng)用程序。就我目前所知，IBM公司是唯一一家提供免費、先試后用應(yīng)用實施的供應(yīng)商。

　　Hadoop和社會網(wǎng)絡(luò)

　　其他名聲在外的社會計算Hadoop實施者包括在一萬臺核心Linux集群上運行Hadoop研究服務(wù)的Yahoo公司，于2011年7月宣稱其Hadoop集群已達(dá)到30PB規(guī)模的Facebook，以及具有Hadoop數(shù)據(jù)TB級規(guī)模應(yīng)用程序的LinkedIn。Twitter還使用Hadoop用于存儲和處理tweet、日志文件以及其他數(shù)據(jù);eBay也宣稱擁有一個532節(jié)點，5PB 的Hadoop集群。

　　目前三巨頭Hadoop實施的狀況是，Amazon公司是唯一一個具有Hadoop/MapReduce認(rèn)證(兩年半)跟蹤記錄的云計算服務(wù)供應(yīng)商。IBM公司的BigInsights尚處于起步階段，而微軟公司對Hadoop CTP發(fā)布制造版還未提供任何官方的時間表。

　　我敢打賭，Amazon公司和IBM公司將在2010年年中成為云計算大數(shù)據(jù)分析市場的競爭對手。盡管Google公司已經(jīng)向大數(shù)據(jù)分析市場推出了MapReduce，但我對Google公司appengine-mapreduce未來的成功無法持樂觀態(tài)度。