大數(shù)據(jù)在云上更需要虛擬化
與其他虛擬化一樣,數(shù)據(jù)虛擬化是一種允許用戶訪問、管理和優(yōu)化異構(gòu)基礎(chǔ)架構(gòu)的方法,好比它們是一種單一、且在邏輯上是統(tǒng)一的資源一樣。這使得用戶能夠從一些服務(wù)、功能或其他資源的內(nèi)部部署中對外部界面進行抽象化。與支持邏輯上統(tǒng)一的訪問、查詢、報告、預(yù)測分析,以及針對關(guān)系型、Hadoop、NoSQL等不同后端數(shù)據(jù)庫應(yīng)用的任何“SQL-虛擬化”解決方法相同,數(shù)據(jù)虛擬化的核心是抽象層。
當(dāng)然,數(shù)據(jù)虛擬化可能會轉(zhuǎn)而依靠其他的基礎(chǔ)設(shè)施虛擬化層,例如存儲與服務(wù)器平臺。在某些情況下,數(shù)據(jù)虛擬化可能會在地理上和多云環(huán)境中進行擴張。而在我們討論的眾多層中,虛擬化無疑是這些枯燥數(shù)據(jù)話題的一個縮影。但是如果你希望自己的大數(shù)據(jù)云平臺能夠解決以下業(yè)務(wù)需求,那么它們無疑是最基礎(chǔ)的。
具體的業(yè)務(wù)需求:
基于彈性、靈活拓撲結(jié)構(gòu)的先進分析型資源
汲取源自任何來源、格式和方案的純消費性資源
在價值鏈中擴展,在私有云和公有云中擴張的聯(lián)合資源
能夠留存、聚合、處理任何動靜結(jié)合信息的“延遲-靈敏”資源
能夠讓你通過現(xiàn)有工具和應(yīng)用,調(diào)整、擴展和升級后端數(shù)據(jù)平臺的無縫互操作資源
毋庸置疑,這是一項艱巨的任務(wù),數(shù)據(jù)虛擬化和虛擬的基礎(chǔ)架構(gòu)實踐起來比說起來困難的多。此外,部署、管理和優(yōu)化的工作也需要花費大量的資金。
對于大部分的大數(shù)據(jù)專業(yè)人員而言,解決這一難題就如同天文學(xué)家試圖繪制出宇宙中的暗物質(zhì)一樣困難。他們知道這項工作既重要,但又十分的乏味和煩瑣。實際上,大數(shù)據(jù)專業(yè)人員更喜歡從事Hadoop和NoSQL的研究,因為它們正在新的技術(shù)領(lǐng)域中閃爍著最耀眼的光芒。
在私有云中,大數(shù)據(jù)平臺融合需要一個虛擬化架構(gòu),以將新的方案與之前的投資相關(guān)聯(lián)起來。然而,融合將會阻止用戶持續(xù)的平臺現(xiàn)代化與遷移嘗試,妨礙用戶將創(chuàng)新和適合的平臺整合到云中,阻礙廠商的“產(chǎn)品-改良”循環(huán)。除非將所有的大數(shù)據(jù)方案都放到“通用的”公有云服務(wù)上,否則用戶在多種組合方案中需要虛擬化公有云、私有云和混合云架構(gòu)的訪問。
而能沿著“數(shù)據(jù)-虛擬化”路線走多遠,將取決于用戶業(yè)務(wù)需求和大數(shù)據(jù)環(huán)境的復(fù)雜性。此外,還取決于用戶對風(fēng)險、復(fù)雜性和困難的承受程度。
在未來,隨著分析模型、規(guī)則和大數(shù)據(jù)云上匯聚的信息日益復(fù)雜,平臺將成為虛擬化訪問、執(zhí)行和管理的核心。在這一新領(lǐng)域內(nèi),MapReduce將成為關(guān)鍵的開發(fā)框架。此外,MapReduce還將成為針對內(nèi)聯(lián)分析和交易計算的虛擬化架構(gòu)的一部分。不過,目前這一虛擬化架構(gòu)雖然涵蓋范圍更廣,但是大部分仍沒有被明確定義。迄今為止,還沒有人能夠?qū)@些將云與大數(shù)據(jù)世界拼接在一起的層、界面和抽象化展開進一步概述,而這也是一項擺在我們面前的艱巨任務(wù)。