VMware對(duì)大數(shù)據(jù)平臺(tái)Hadoop實(shí)現(xiàn)虛擬化
譯文VMware近日宣布了取得的進(jìn)展,這些進(jìn)展讓vSphere得以管理Hadoop集群。
這樣一來(lái),VMware讓成千上萬(wàn)的VMware企業(yè)客戶有辦法借助它們已經(jīng)熟悉的軟件來(lái)處理部署的Hadoop系統(tǒng)。從技術(shù)方面來(lái)說(shuō),這推進(jìn)了該公司在虛擬化基礎(chǔ)設(shè)施上運(yùn)行Hadoop節(jié)點(diǎn)方面所開(kāi)展的工作,從而將虛擬化的優(yōu)勢(shì)帶到了大數(shù)據(jù)平臺(tái)。
VMware近期宣布推出VMware vSphere大數(shù)據(jù)擴(kuò)展件(VMware vSphere Big Data Extensions)的公共測(cè)試版,這將讓該公司廣受歡迎的基礎(chǔ)設(shè)施管理軟件可以控制客戶建立起來(lái)的Hadoop集群。這些擴(kuò)展件仍然需要一個(gè)基礎(chǔ)性的Hadoop平臺(tái),而HortonWorks、MapR、Cloudera等廠商或者VMware的合作伙伴Pivotal各處發(fā)行的Hadoop平臺(tái)都基于開(kāi)源Apache代碼。大數(shù)據(jù)擴(kuò)展件現(xiàn)在讓那些發(fā)行版可以通過(guò)vSphere來(lái)加以管理。市場(chǎng)調(diào)研公司Taneja Group的高級(jí)分析師Michael Matchett表示,VMware讓私有企業(yè)能夠?qū)⒆约旱拇髷?shù)據(jù)作為一項(xiàng)服務(wù)來(lái)托管。
VMware能推出這些功能還得益于它在Serengeti項(xiàng)目方面開(kāi)展的工作,該項(xiàng)目旨在優(yōu)化在虛擬化基礎(chǔ)設(shè)施上運(yùn)行上的Hadoop集群。Matchett表示,這是該大數(shù)據(jù)項(xiàng)目邁出的可能很重要的一步,對(duì)部署Hadoop的公司而言更是如此。在虛擬機(jī)上、而不是在裸機(jī)上運(yùn)行Hadoop節(jié)點(diǎn)帶來(lái)了與虛擬化計(jì)算服務(wù)器同樣的許多優(yōu)勢(shì):可以更有效地利用硬件資源,而且增強(qiáng)了管理系統(tǒng)方面的靈活性。Matchett表示,用戶可以在虛擬環(huán)境下托管Hadoop,因?yàn)檫@讓用戶能夠混搭其他工作負(fù)載,并且充分利用跨多個(gè)客戶端的基礎(chǔ)設(shè)施。
其他公司也在努力對(duì)Hadoop集群實(shí)現(xiàn)虛擬化。亞馬遜云網(wǎng)絡(luò)服務(wù)公司(AWS)提供了Elastic Map Reduce(EMR)解決方案,這基本上是一項(xiàng)類似Hadoop的、基于公共云的服務(wù)。不過(guò),VMware主要針對(duì)私有云和部署在客戶處的系統(tǒng)。
為vSphere增加支持還可能預(yù)示著VMware打算作出其他舉措。比如說(shuō),VMware可能擴(kuò)展該平臺(tái),以便使用該公司即將發(fā)布的公共云產(chǎn)品(定于今年晚些時(shí)候發(fā)布),可以輕松遷移由vSphere管理的Hadoop工作負(fù)載。其他公司、尤其是微軟可能是下一個(gè)將推出支持自身管理軟件的功能,以便在Windows Systems Center環(huán)境下控制在該公司的虛擬機(jī)管理程序:Hyper-V上的Hadoop發(fā)行版。
VMware宣布的這些新功能是公共測(cè)試版的一部分,使用vSphere 5.1的客戶現(xiàn)在可以報(bào)名申領(lǐng)公測(cè)版;預(yù)計(jì)這些功能會(huì)在年底前正式投放市場(chǎng)。除了宣布這些擴(kuò)展件外,VMware還表示Serengeti項(xiàng)目支持來(lái)自Apache Hadoop的***開(kāi)源代碼,其中包括新的YARN功能:Hadoop社區(qū)的一些人認(rèn)為,這款資源管理器有望為基于Hadoop平臺(tái)開(kāi)發(fā)的新應(yīng)用程序打開(kāi)閘門(mén)。