大數(shù)據(jù)的虛擬化：企業(yè)IT發(fā)展潮流

大數(shù)據(jù)的虛擬化是當(dāng)前大數(shù)據(jù)以及Hadoop社區(qū)的一個(gè)發(fā)展趨勢。Gartner在2013年6月舉行的Hadoop Summit大會上提到，為了讓Hadoop等大數(shù)據(jù)技術(shù)真正落地企業(yè)，我們要從具體業(yè)務(wù)需求出發(fā)，驅(qū)動大數(shù)據(jù)相關(guān)技術(shù)和產(chǎn)品的進(jìn)一步發(fā)展，逐漸告別之前技術(shù)驅(qū)動的創(chuàng)新。Gartner同時(shí)指出，虛擬化是這個(gè)新階段的重要趨勢。隨著全球企業(yè)IT虛擬化的比例突破三分之二，以虛擬化為基礎(chǔ)的軟件定義的數(shù)據(jù)中心對企業(yè)來講變得越來越普及和重要，大數(shù)據(jù)在這樣的浪潮下如何影響和融入現(xiàn)有企業(yè)數(shù)據(jù)中心的基礎(chǔ)架構(gòu)變成了現(xiàn)實(shí)的挑戰(zhàn)。本博客將圍繞這個(gè)話題，從運(yùn)維、技術(shù)、和解決方案的角度給出具體內(nèi)容。

到底什么是大數(shù)據(jù)的虛擬化?

解答這個(gè)問題首先要回顧企業(yè)IT為什么要做虛擬化?我認(rèn)為原因有以下幾點(diǎn)：

1. 虛擬化能夠顯著提升服務(wù)器的利用率，通過整合服務(wù)器資源達(dá)到更佳的利用率。

2. 以x86服務(wù)器為代表的虛擬化本身的擁有成本相對小型機(jī)和軟硬件一體設(shè)備來講，更經(jīng)濟(jì);而且性能表現(xiàn)一點(diǎn)也不遜色，橫向擴(kuò)展更是巨大優(yōu)勢。

3. 虛擬化在云計(jì)算(無論是公有云還是私有云)中承擔(dān)著很重要的基礎(chǔ)工作。沒有虛擬化技術(shù)，云計(jì)算的彈性和多租戶往往難以得到真正落實(shí)。

4. 虛擬化已經(jīng)可以支撐企業(yè)關(guān)鍵應(yīng)用(如ERP、郵件服務(wù)器、業(yè)務(wù)生產(chǎn)數(shù)據(jù)庫等)，這證明在虛擬化和性能穩(wěn)定性之間已經(jīng)不再需要二選一。此外，眾多成功案例和技術(shù)白皮書也可以幫助更多客戶加強(qiáng)信心。虛擬化邁向全面成熟的標(biāo)志已經(jīng)樹立。

顯然企業(yè)虛擬化的進(jìn)程不會停止，目前包括VMware在內(nèi)的領(lǐng)導(dǎo)廠商都在拓展虛擬化2.0。不僅是服務(wù)器(計(jì)算資源)虛擬化，包括存儲和網(wǎng)絡(luò)等過去相對難以直接被虛擬化所用的孤島都出現(xiàn)了最前沿的創(chuàng)新推動，例如“軟件定義數(shù)據(jù)中心”、“存儲虛擬化”、“網(wǎng)絡(luò)虛擬化”等熱點(diǎn)，都已經(jīng)出現(xiàn)了具體的產(chǎn)品和解決方案。

大數(shù)據(jù)的虛擬化，是將大數(shù)據(jù)的工作負(fù)載運(yùn)行或遷移到虛擬化的基礎(chǔ)環(huán)境中。除了自然地繼承以上所談到的虛擬化的普遍優(yōu)點(diǎn)，值得一提的還有幾個(gè)特殊的好處：

1. 由于大數(shù)據(jù)基礎(chǔ)架構(gòu)在起步時(shí)往往難以確定需要多少計(jì)算和數(shù)據(jù)節(jié)點(diǎn)，這些節(jié)點(diǎn)用物理服務(wù)器需要一一去堆。如果沒有專家團(tuán)隊(duì)支持，將會非常耗時(shí)費(fèi)力，而且將來擴(kuò)展非常不方便，利用率極低，管理效率問題相當(dāng)突出。虛擬化不僅可以快速部署集群，更可以靈活管理它們，同時(shí)顯著提高利用率。

2. 大數(shù)據(jù)混合使用共享存儲和本地存儲，用來提高性能。虛擬化可以完全滿足這些需求，并且讓我們靈活的擴(kuò)展和設(shè)計(jì)策略。

3. 虛擬化可以將大數(shù)據(jù)從底層向上對外形成多租戶和數(shù)據(jù)分析服務(wù)，很好的隔離計(jì)算環(huán)境，為推動大數(shù)據(jù)即服務(wù)奠定基礎(chǔ)。

4. 虛擬化還有利于整合和集成其它的數(shù)據(jù)應(yīng)用在統(tǒng)一的虛擬化平臺上，大大降低IT基礎(chǔ)架構(gòu)的復(fù)雜度和運(yùn)維成本。

我想以上不僅解釋了什么是大數(shù)據(jù)的虛擬化，也說明了這個(gè)市場的存在價(jià)值。那么我們還需要什么?知識和技能。企業(yè)面臨的***問題不是實(shí)在的需求，而是沒有專業(yè)的人才去發(fā)現(xiàn)和處理它;57%的企業(yè)認(rèn)為他們急需掌握具體技術(shù)和知識的人才;同時(shí)，管理和安全也是一大挑戰(zhàn)，占37%。這些數(shù)字都印證了虛擬化存在的必要性和價(jià)值。(數(shù)據(jù)來自微軟公司在Hadoop Summit 2013上的報(bào)告)

關(guān)于大數(shù)據(jù)的虛擬化這個(gè)嶄新的話題，我想市場上可能還沒有多少人可以了解具體如何實(shí)現(xiàn)它，需要使用什么樣的技術(shù)和產(chǎn)品。因?yàn)椴涣私猓闳菀自斐芍饔^臆斷，覺得大數(shù)據(jù)和虛擬化是矛盾的，甚至覺得將兩者結(jié)合在一起是“不靠譜”的。我將通過即將發(fā)布的一系列博文具體闡述如何實(shí)現(xiàn)虛擬化上的大數(shù)據(jù)，讓讀者知道這兩者的關(guān)系，幫助他們解開疑慮。所以，接下來的一系列博客文章都屬于技術(shù)“干貨”，將指導(dǎo)有興趣進(jìn)一步了解和嘗試這個(gè)領(lǐng)域的讀者或企業(yè)進(jìn)一步探索并動手親自嘗試使用。