大數(shù)據(jù)應(yīng)用:論底層基礎(chǔ)設(shè)施硬件到底有多重要
對于當今的企業(yè)級服務(wù)市場來說,大數(shù)據(jù)技術(shù)的不斷深入已經(jīng)使得很多行業(yè)的用戶開始擁抱大數(shù)據(jù),我們都知道,對于數(shù)據(jù)而言,我們每天所產(chǎn)生的海量數(shù)據(jù)需要有一個強有力且安全的平臺來對這些數(shù)據(jù)進行收集、分析從而為用戶提出一個切實可行的方案,來幫助用戶解決因數(shù)據(jù)困難導致的企業(yè)IT問題。
對于整個大數(shù)據(jù)行業(yè)來說,基本上可以分為三層,分別是底層基礎(chǔ)平臺,中間層通用技術(shù),上層行業(yè)應(yīng)用。那么對于一家大數(shù)據(jù)服務(wù)企業(yè)來說,為用戶提供基于這三個平臺的大數(shù)據(jù)服務(wù)的過程當中,這些平臺的根本,其實是需要一個強大的底層硬件基礎(chǔ)平臺來為這些海量數(shù)據(jù)做保障和支撐的。
Hadoop:底層技術(shù)的明星
對于底層的基礎(chǔ)平臺來說,其主要起到了數(shù)據(jù)存儲、計算等過程當中的問題,它也是整個大數(shù)據(jù)生態(tài)當中的根本基石,用戶從采集到數(shù)據(jù)開始,底層基礎(chǔ)平臺就是保證用戶能夠把這些數(shù)據(jù)高效、快捷的進行存儲,而后才能進行高效的數(shù)據(jù)分析和挖掘,從而幫助用戶解決企業(yè)IT問題。
統(tǒng)觀當前國內(nèi)的企業(yè)級市場,真正把目光專注于Hadoop的企業(yè)級廠商數(shù)量其實并不是太多,有業(yè)內(nèi)專家曾經(jīng)指出,在進入新世紀后的***個十年當中,跟多企業(yè)都把發(fā)展的重點放在了IT設(shè)備的采購、數(shù)據(jù)中心機房的建設(shè)以及各種辦公系統(tǒng)的上線等方面,而第二個十年當中,隨著經(jīng)濟形勢的下行,使得傳統(tǒng)企業(yè)的盈利開始出現(xiàn)下降的趨勢,對于企業(yè)級用戶來講,對于IT設(shè)備的采購也就不像之前那十年那樣狂熱了。
以Hadoop為代表的新底層技術(shù)能夠興起,拋開技術(shù)原因,最主要的原因是便宜、擴展性強。利用分布式架構(gòu),將一些性能一般的機器串聯(lián)起來,達到與高性能單機同樣的效果。隨著公司發(fā)展,數(shù)據(jù)量增大,不需要更換全套設(shè)備,只需要再增加機器就可以達到目的,省時省力。
利用Hadoop發(fā)展起來的商業(yè)模式
以微軟的Cosmos為例,這套系統(tǒng)本身優(yōu)于Hadoop,主要是針對大型機房,設(shè)計理念很好,上萬臺機器的機房,拿出幾十臺做別的事情,來提升系統(tǒng)運營效率。但如果是幾十臺機器,仍然需要拿出很大一部分來做別的事情,機器使用效率就很低。
實際應(yīng)用時,用上萬臺機器的公司少,用幾十臺機器的公司多,因此Hadoop的應(yīng)用面更廣。用的人多,自然幫助優(yōu)化架構(gòu)的人多,社區(qū)貢獻的人多,技術(shù)發(fā)展快,漸漸成為主流。
Hadoop技術(shù)是開源的,為什么還有公司會提供Hadoop相關(guān)服務(wù)?這是因為開源技術(shù)的兼容性和穩(wěn)定性比較差,同時,企業(yè)在實際應(yīng)用中需要將開源技術(shù)和自身系統(tǒng)、產(chǎn)品相連接,這就是Hadoop發(fā)行版的市場所在。
當前,銀行等大型企業(yè)紛紛喊出“去IOE”(IBM小型機、Oracle數(shù)據(jù)庫、EMC存儲設(shè)備),盡管國產(chǎn)企業(yè)的產(chǎn)品尚不能滿足大型企業(yè)核心系統(tǒng)的要求,但是必然會有大量新業(yè)務(wù)的IT系統(tǒng)采用國產(chǎn)品牌,舊有業(yè)務(wù)面臨更新?lián)Q代也會優(yōu)先選擇國內(nèi)廠商。
數(shù)據(jù)庫等底層設(shè)施不同于上層應(yīng)用,更換成本較高,客戶黏性很大,非萬不得已不會進行替換,同時Hadoop這類新技術(shù)迭代速度快,需要后期維護。因此,各家公司都在大力開拓市場,跑馬圈地。
發(fā)展大潮下創(chuàng)業(yè)公司有幾分機遇?
隨著IT領(lǐng)域“去IOE”浪潮的快速發(fā)展,已經(jīng)開始有越來越多的中國企業(yè)都在面對更換自身原有的IT硬件設(shè)備的問題,這對于整個底層基礎(chǔ)平臺市場來說是一個絕好的發(fā)展機遇,因此近些年我們也可以看到越來越多的初創(chuàng)型公司利用其技術(shù)優(yōu)勢和初創(chuàng)公司的高效決策機制,迅速搶占一些市場份額,占據(jù)一席之地。這類公司主要服務(wù)金融、電信、交通、電力等領(lǐng)域的大型企業(yè),這些領(lǐng)域原本是傳統(tǒng)集成商的地盤,因此新興大數(shù)據(jù)公司不可避免地將與集成商正面競爭。
底層基礎(chǔ)平臺不同于上層應(yīng)用,客戶需求類似,產(chǎn)品很難體現(xiàn)出差異化優(yōu)勢。各家公司主要比拼產(chǎn)品性能的優(yōu)劣,這種技術(shù)上的差異,新興公司最初會占據(jù)一定優(yōu)勢,隨著開源技術(shù)的普及,很多公司也會逐步趕上,技術(shù)的差距會逐步縮小。
Hadoop誕生于2006年,Spark于2009年出現(xiàn),2013年Hadoop已經(jīng)發(fā)布2.0穩(wěn)定版本,兩種技術(shù)從誕生到成熟時間之短,令人震驚。在當今這個技術(shù)快速發(fā)展的時代,新興大數(shù)據(jù)公司一方面要應(yīng)對市場競爭,另一方面還要保持技術(shù)的領(lǐng)先地位,難度不小。
對于大數(shù)據(jù)產(chǎn)業(yè)來說,除了在平臺化管理要從用戶角度出發(fā)之外,對于企業(yè)的底層硬件平臺來說,也需要更加迎合實際的應(yīng)用環(huán)境來對產(chǎn)品進行采購和升級換代,一個強大、安全、穩(wěn)定的底層硬件平臺對于大數(shù)據(jù)在用戶端的豐富應(yīng)用起到了決定性的作用,所以我們說,一切還是要以用戶的需求作為根本出發(fā)點。