大數(shù)據(jù)“流言”:剖析Hadoop和大數(shù)據(jù)的七誤解
對于Hadoop技術(shù)而言,可以說是開源領(lǐng)域的傳奇,然而如今業(yè)界還伴隨著一些流言,這些流言可能會導(dǎo)致IT高管們帶著“有色”的觀點去制定策略。
如今,數(shù)據(jù)量在以驚人的速度增長,從IDC分析師報告中2013年數(shù)據(jù)存儲上的增長速度將達到53.4%,AT&T更是聲稱無線數(shù)據(jù)的流量在過去的5年內(nèi)增長200倍,從互聯(lián)網(wǎng)內(nèi)容、電子郵件、應(yīng)用通知、社交消息以及每天接收的消息都在顯著的增長,這也是眾多大企業(yè)都聚焦大數(shù)據(jù)的原因所在。
毫無疑問,Hadoop成為解決大數(shù)據(jù)需求的主要投資領(lǐng)域之一,而類似Facebook等互聯(lián)網(wǎng)巨頭在都公開的吹捧Hadoop上取得的成功,同樣初入大數(shù)據(jù)領(lǐng)域的公司也必先著眼于Hadoop。但對于Hadoop技術(shù)而言,是一個多維的解決方案,可以通過不同的方式進行部署和使用。下面就了解一些關(guān)于Hadoop和大數(shù)據(jù)的七大錯誤理念:
1.大數(shù)據(jù)僅僅是容量
對大數(shù)據(jù)來說,除了指體積之外,還經(jīng)常提到Variety(多樣)、Variability(可變)、Velocity(速度)和Value(價值)。關(guān)鍵點在于大數(shù)據(jù)并不是體積上的增長,更多是未來的實時分析、結(jié)構(gòu)化和非結(jié)構(gòu)化數(shù)據(jù)的發(fā)展,并被企業(yè)CIO用于更好的決策。
綜上所述,并不是只有分析大數(shù)據(jù)才會獲得價值。舉個例子,存儲和分析1PB的超時限數(shù)據(jù)的價值可能比不上實時分析1GB的數(shù)據(jù),而從“新鮮”的數(shù)據(jù)上獲得價值比解剖過時的數(shù)據(jù)更具價值。
2.傳統(tǒng)SQL不能在Hadoop上使用
眾多廠商在Hadoop上投入精力,布局市場戰(zhàn)略時,十分清楚HDFS和MapReduce受限于處理類似SQL語言的能力,這也是Hive、Pig和Sqoop最終得以推廣的原因。更多企業(yè)通過Hadoop和SQL兼容來管理大量的數(shù)據(jù),Pivotal HD是結(jié)合SQL并行處理資料庫與Hadoop 2.0,針對企業(yè)資料分析需求而優(yōu)化的Hadoop強化版本?!?/p>
3.Hadoop是唯一的新IT數(shù)據(jù)平臺
談到數(shù)據(jù)平臺,大型機在IT投資組合里有是一個長期投資,與ERP、CRM和SCM這些系統(tǒng)一樣演變至今。而面對大數(shù)據(jù)時代,大型機不想被架構(gòu)遺棄,必須展示在現(xiàn)有IT投資環(huán)境中的價值,而許多客戶遇到速度、規(guī)模和成本的問題,通過vFabric SQLFire這樣的內(nèi)存大數(shù)據(jù)網(wǎng)絡(luò)去解決高速數(shù)據(jù)存取,促進大型機批處理或?qū)崟r分析報告這些問題。
#p#
4.虛擬化會導(dǎo)致性能下降
Hadoop最初的設(shè)計只是運行實體服務(wù)器上,然而隨著云計算發(fā)展,許多企業(yè)都希望能作為云數(shù)據(jù)中心提供服務(wù)。之所以虛擬化Hadoop,企業(yè)首先要考慮管理基礎(chǔ)設(shè)施的擴展性,認識到擴展計算資源,比如虛擬Hadoop節(jié)點在數(shù)據(jù)和計算分開時會對性能有所幫助,否則如果你關(guān)閉某個Hadoop節(jié)點將丟失上面的所有數(shù)據(jù)或者添加一個沒有數(shù)據(jù)的空節(jié)點。
5.Hadoop只可以在數(shù)據(jù)中心運行
對于在SaaS云服務(wù)解決方案,許多云服務(wù)允許云端運行Hadoop、SQL,這無疑可以幫助企業(yè)省下數(shù)據(jù)中心建造投資的時間和金錢。特別是對于公有云情況下,Java開發(fā)者可以從Spring Data for Hadoop以及一些其它的GitHub用例中獲益。
大數(shù)據(jù)復(fù)雜性
6.Hadoop對虛擬化無經(jīng)濟價值
Hadoop被很多人認為,盡管在商用服務(wù)器上運行,添加一個虛擬層在帶來額外支出的同時并不會有額外的價值收益,但其實這個說法并沒有考慮到數(shù)據(jù)和數(shù)據(jù)分析事實上都是動態(tài)的。虛擬化基礎(chǔ)設(shè)施同樣可以減少物理硬件數(shù)量,讓CAPEX(資本支出)直接等于商用硬件成本,而通過自動以及高效利用共享基礎(chǔ)設(shè)施同樣可以減少OPEX(運營成本)。
7.Hadoop不能運行在SAN或NAS上
盡管Hadoop在本地磁盤上運行,對于中小型集群一樣可以在一個共享的SAN環(huán)境下體現(xiàn)良好的性能表現(xiàn),而高帶寬比如10GB以太網(wǎng)、PoE以及iSCSI對性能同樣有很好的支持。
由此,大數(shù)據(jù)成為行業(yè)追逐的熱點,以上七大有關(guān)大數(shù)據(jù)“誤解”問題的客觀看待。如同不同項目需求不同,Hadoop是一個工具來幫助企業(yè)更好的應(yīng)對大數(shù)據(jù)問題。無論是面對數(shù)據(jù)網(wǎng)格的GemFire或SQLFire,還是面向消息的RabbitMQ中間件,一個完整的SaaS解決方案如今比在Hadoop環(huán)境更容易實現(xiàn)。