如果軟件應(yīng)用能夠超越一切基礎(chǔ)架構(gòu)的差異性，企業(yè)IT將會(huì)少掉多少煩惱?本周舉行的VMworld 2012大會(huì)上，VMWare重申了該公司的重大圖謀：將所有物理資源虛擬化，實(shí)現(xiàn)全面池化以快速調(diào)配和部署，即軟件定義型數(shù)據(jù)中心(SDDC)。在應(yīng)用層，這家虛擬化巨頭正在努力將Hadoop搬進(jìn)虛機(jī)之中，以應(yīng)對(duì)“大數(shù)據(jù)”。

　　大數(shù)據(jù)是時(shí)下業(yè)界熱議的話題，走向宏圖的路上，VMware自然無(wú)法對(duì)其視而不見(jiàn)，但要實(shí)現(xiàn)Hadoop的虛擬化，VMware能否一帆風(fēng)順呢?

　　情定Hadoop，情有可原

　　站在大數(shù)據(jù)時(shí)代的邊上，Apache Hadoop由于其低成本、可擴(kuò)展性等優(yōu)勢(shì)，成為IT廠商們的大數(shù)據(jù)處理策略的事實(shí)標(biāo)準(zhǔn)。因此，VMware對(duì)Hadoop青眼有加，也是意料之中的事，何況VMware的母公司EMC早已推出過(guò)Hadoop發(fā)行版，且EMC大數(shù)據(jù)分析平臺(tái)GreenPlum也是實(shí)現(xiàn)了Hadoop處理。

　　VMware首席技術(shù)官 Steve Herrod博士

　　VMworld 2012上，VMware首席技術(shù)官 Steve Herrod博士在演講中表示，Vmware的開(kāi)源項(xiàng)目Serengeti，將支持企業(yè)能夠在虛擬和云環(huán)境中快速部署、管理和擴(kuò)展Hadoop。

　　此前，VMware宣布了其大數(shù)據(jù)策略：在統(tǒng)一的vSphere云架構(gòu)和HDFS文件系統(tǒng)之上，提供GemFire實(shí)時(shí)處理、GreenPlum交互處理及Hadoop批處理三種模式。另外，VMware收購(gòu)的云端大數(shù)據(jù)分析工具Cetas，也是提供在Hadoop平臺(tái)上的分析服務(wù)的。(詳見(jiàn)：《三路出擊 VMware云平臺(tái)搶灘大數(shù)據(jù)》)

　　VMware大數(shù)據(jù)策略

　　從這個(gè)架構(gòu)中我們也可以看出，Hadoop在虛擬環(huán)境中的成熟程度，對(duì)VMware的大數(shù)據(jù)策略至關(guān)重要。

#p#

　　先天不足，Serengeti補(bǔ)之

　　只是Hadoop既非萬(wàn)能，也受限于環(huán)境。首先，作為開(kāi)源項(xiàng)目，Hadoop存在部署和運(yùn)營(yíng)的復(fù)雜性、特定的硬件需求、安全上的顧慮和服務(wù)水平保障等障礙，讓企業(yè)很難充分發(fā)揮其威力，這也是各種Hadoop發(fā)行版誕生的直接原因。

　　對(duì)VMware來(lái)說(shuō)，更為關(guān)鍵的是，根據(jù)Apache的Virtual Hadoop wiki文檔給出的結(jié)論，You can bring up Hadoop in cloud infrastructures, and sometimes it makes sense, for development and production. For production use, be aware that the differences between physical and virtual infrastructures can threaten your data integrity and security - and you must plan for that.(可以將Hadoop帶到云基礎(chǔ)架構(gòu)上，但物理和虛擬基礎(chǔ)設(shè)施之間的差異可能危及數(shù)據(jù)完整性和安全性。)

　　在針對(duì)大數(shù)據(jù)項(xiàng)目的風(fēng)險(xiǎn)的探討中，許多業(yè)界專家都指出數(shù)據(jù)的完整性的重要性，所以這個(gè)問(wèn)題必須解決，Serengeti應(yīng)運(yùn)而生。

　　Steve Herrod博士稱，Serngeti的作用就是可以快速在虛擬化環(huán)境中部署Hadoop，并進(jìn)行有效的監(jiān)測(cè)和管理，實(shí)現(xiàn)Hadoop集群的高彈性。當(dāng)然，VMware還提到過(guò)，虛擬化還讓Hadoop適用于多租戶環(huán)境，讓Hadoop安全性提高(這里指VMware虛擬化在不同集群之間產(chǎn)生強(qiáng)隔離)。

　　此外，VMware也致力于同Hadoop合作伙伴共同改變Hadoop分布式文件系統(tǒng)和Hadoop MapReduce開(kāi)發(fā)。Spring for Apache Hadoop(2012年2月首次發(fā)布的開(kāi)源項(xiàng)目)的更新，讓企業(yè)開(kāi)發(fā)者能夠輕松利用Apache Hadoop開(kāi)發(fā)分布式處理解決方案。

　　Serngeti開(kāi)源項(xiàng)目

　　但還是有問(wèn)題。虛擬化做得再好，性能損耗是很難避免的。微軟亞太研發(fā)集團(tuán)首席技術(shù)官孫博凱(Prakash Sundaresan)坦言，Windows Azure的主要功能是提供池化的IT資源與服務(wù)，從每個(gè)節(jié)點(diǎn)看，虛擬層會(huì)造成每節(jié)點(diǎn)10%左右的性能損耗。

　　不過(guò)，VMware方面表示，Hadoop在物理和虛擬化環(huán)境下的運(yùn)行性能的測(cè)試表明，兩者相差不超過(guò)10%，甚至是在一個(gè)物理機(jī)上運(yùn)行兩個(gè)虛擬機(jī)的時(shí)候，虛擬環(huán)境下運(yùn)行的性能還要稍微的優(yōu)于物理環(huán)境。

　　在相同的環(huán)境下，Hadoop在物理和虛擬化環(huán)境下的運(yùn)行性能測(cè)試，橫軸是Hadoop的各個(gè)評(píng)測(cè)項(xiàng)目基準(zhǔn)點(diǎn)，縱軸是在一個(gè)評(píng)測(cè)項(xiàng)目下面，Hadoop集群在虛擬化環(huán)境下運(yùn)行的時(shí)間和在物理化環(huán)境下運(yùn)行時(shí)間的比值。如果為1就表明是相同的，如果大于1，則表示物理環(huán)境下的性能更優(yōu)，反之則表示虛擬化的環(huán)境下更優(yōu)。

　　當(dāng)然這個(gè)結(jié)果是有爭(zhēng)議的：只代表EMC存儲(chǔ)對(duì)VMware的支持好， 計(jì)算性能方面，x86服務(wù)器的虛擬化Hypervisor做得再好也不可能提供超出物理資源的性能。

#p#

　　因緣際會(huì)，云領(lǐng)未來(lái)

　　擱置性能疑慮，我們知道，在虛擬化和云計(jì)算時(shí)代，數(shù)據(jù)中心的虛擬化程度已經(jīng)越來(lái)越高。保羅·馬瑞茲(Paul Maritz)，這位即將卸任VMware CEO(鏈接：《ESG分析師王叢：看VMware CEO 的交替》)表示，從2008年至今，數(shù)據(jù)中心的虛擬化程度將從25%增長(zhǎng)了60%，未來(lái)會(huì)增長(zhǎng)到90%。

　　VMware 即將卸任的CEO 保羅•馬瑞茲

　　因此，如何在虛擬環(huán)境中更好地得到大數(shù)據(jù)的價(jià)值，這是企業(yè)必須面對(duì)的問(wèn)題。如果企業(yè)的數(shù)據(jù)已經(jīng)在亞馬遜S3上，這個(gè)問(wèn)題就更加緊迫。

　　對(duì)于企業(yè)來(lái)說(shuō)，既然選擇了云或者虛擬化，只要TCO是下降的，部分的性能損失也是被允許的。這就是Hadoop運(yùn)行于虛擬環(huán)境的機(jī)遇，VMware的機(jī)遇。

　　VMware唯一需要的，就是進(jìn)一步的改進(jìn)，解決存儲(chǔ)、網(wǎng)絡(luò)方面的瓶頸。這方面，作為SDDC戰(zhàn)略的一部分，以12.6億美元收購(gòu)面向軟件定義網(wǎng)絡(luò)的Nicira，體現(xiàn)了VMware的努力。而VMware即將上任的CEO帕特•基辛格(Pat Gelsinger) 在他的演講中，對(duì)VMware為轉(zhuǎn)移網(wǎng)絡(luò)容量、存儲(chǔ)和處理能力的所提供的工具做了一系列的詮釋。

　　基辛格說(shuō)，“當(dāng)前的數(shù)據(jù)中心已經(jīng)過(guò)時(shí)，是時(shí)候轉(zhuǎn)向云端了。”

　　遭遇微軟，步步驚心?

　　既然說(shuō)大勢(shì)所趨，就不難理解，看上虛擬化Hadoop的不只是VMware。我們知道，VMware在虛擬化領(lǐng)域的老對(duì)手微軟也是心有戚戚焉。

　　對(duì)于Hadoop與虛擬化的結(jié)合，孫博凱說(shuō)，從整個(gè)Windows Azure資源池的角度看，架設(shè)在其上的Hadoop架構(gòu)足以能夠滿足客戶的需要;同時(shí)，微軟也滿足部署客戶私有云平臺(tái)上的Hadoop架構(gòu)的需求。

　　孫博凱表示，微軟的Hadoop并非把Hadoop簡(jiǎn)單遷移到微軟平臺(tái)上，相對(duì)開(kāi)源版本做了包括高可用性、安全性和可靠性的改進(jìn)，并和微軟管理工具體系整合。例如基于Windows Azure的Hadoop架構(gòu)，就意味著Hadoop都架設(shè)在一個(gè)高可用的超大規(guī)模虛擬集群上。

　　微軟亞太研發(fā)集團(tuán)首席技術(shù)官孫博凱

　　從整體上看二者的服務(wù)器虛擬化競(jìng)爭(zhēng)，一個(gè)精彩的評(píng)價(jià)是，微軟要拼命證明Hyper-V在技術(shù)方面已經(jīng)可以與VMware抗衡，VMware則極力證明其解決方案并非比微軟昂貴。

　　但馬瑞茲表示，VMware與微軟的競(jìng)爭(zhēng)不會(huì)是價(jià)格的競(jìng)爭(zhēng)：微軟說(shuō)Hyper-V已經(jīng)夠好，但虛擬化的競(jìng)爭(zhēng)早就不是簡(jiǎn)單的Hypervisor的競(jìng)爭(zhēng)，而是相關(guān)工具以及整個(gè)生態(tài)系統(tǒng)的競(jìng)爭(zhēng)。所以，“VMware與微軟根本就不在一個(gè)層次上”。

　　事實(shí)上呢，我們看到，在VMware 2012上，基辛格正式宣布，根據(jù)針對(duì)1萬(wàn)3千名客戶的調(diào)查結(jié)果，取消了復(fù)雜的vRAM付費(fèi)方式，全部產(chǎn)品改回按處理器付費(fèi)的授權(quán)方式。這個(gè)問(wèn)題，現(xiàn)場(chǎng)上萬(wàn)名觀眾雷動(dòng)的掌聲說(shuō)明了一切。(鏈接：《VMware取消vRAM改回按處理器付費(fèi)》)

　　EMC現(xiàn)任COO、VMware未來(lái)CEO帕特•基辛格

　　說(shuō)到生態(tài)系統(tǒng)，VMware長(zhǎng)期耕耘于虛擬化，并且EMC刻意保留其獨(dú)立性，自然是有利于其生態(tài)系統(tǒng)的建設(shè)。但從另一方面說(shuō)，微軟在云計(jì)算時(shí)代來(lái)勢(shì)洶洶的Windows Server 2012，也不是吃素的。更為重要的是，微軟已經(jīng)學(xué)會(huì)了與開(kāi)源協(xié)作。孫博凱說(shuō)，微軟不僅是把Hadoop融合到Windows平臺(tái)上，同樣也會(huì)堅(jiān)持開(kāi)源的原則，將Hadoop上的研發(fā)成果，回饋給整個(gè)開(kāi)源社區(qū)。

　　值得一提的還有思科。VMware在用于管理電腦網(wǎng)絡(luò)和存儲(chǔ)設(shè)備的軟件領(lǐng)域的擴(kuò)張，無(wú)疑要讓思科重新審視兩者之間的戰(zhàn)略合作關(guān)系。

　　另外，選擇VMware，就意味著必須虛擬化;選擇微軟，則可以商量——孫博凱用羅素的名言“參差多態(tài)，乃幸福之源”說(shuō)明，微軟一直向客戶提供多種選擇，而選擇權(quán)在客戶手里。雖然說(shuō)目標(biāo)是虛擬化，但微軟的策略顯然可以獲得客戶更多的心理分?jǐn)?shù)。

　　領(lǐng)袖方面，微軟的鮑爾默這幾年來(lái)與“最差CEO”、“拖后腿”、“下課”這樣的詞語(yǔ)結(jié)下了不解之緣，而馬瑞茲和基辛格則被是為喬圖斯優(yōu)秀的接班人，但這既不意味著VMware都不會(huì)出錯(cuò)——vRAM就是一個(gè)例子，也不意味著微軟真的已到末日——微軟截至6月30日的2012 年第四財(cái)季財(cái)報(bào)顯示，企業(yè)級(jí)市場(chǎng)仍然是其主要收入來(lái)源，服務(wù)器和開(kāi)發(fā)工具部門(mén)營(yíng)收同比增長(zhǎng)13%。

　　結(jié)語(yǔ)

　　當(dāng)云計(jì)算和大數(shù)據(jù)讓企業(yè)避無(wú)可避，我們即使不向往SDDC，也必須考慮到虛擬環(huán)境中的大數(shù)據(jù)處理。也許我們可以選擇Hadoop之外的解決方案，但良好地運(yùn)行于虛擬環(huán)境的Hadoop平臺(tái)，無(wú)疑可以讓我們事半功倍。現(xiàn)在，VMware和微軟等廠商的努力、競(jìng)爭(zhēng)與僵持，可以讓我們距離這個(gè)結(jié)果更加接近。當(dāng)然，企業(yè)必須明白，選擇什么樣的大數(shù)據(jù)解決方案，取決于企業(yè)的實(shí)際情況。