京東技術(shù)副總裁何剛:Hadoop商業(yè)項目將遍地開花
原創(chuàng)2013年11月22日,Hadoop中國技術(shù)峰會(China Hadoop Summit 2013)在北京福朋喜來登集團酒店隆重舉行。來自京東的技術(shù)副總裁、***科學家何剛先生給本次大會致辭。何剛認為,隨著網(wǎng)絡(luò)社交的成熟,移動互聯(lián)網(wǎng)的飛速發(fā)展,Hadoop技術(shù)將會不斷完善,Hadoop的商業(yè)項目會遍地開花,為中國大數(shù)據(jù)產(chǎn)業(yè)發(fā)展提供更多的推動力。
2010年以來,隨著網(wǎng)絡(luò)社交的成熟,移動互聯(lián)網(wǎng)的飛速發(fā)展,網(wǎng)絡(luò)購物的強勢增長,以及云計算、物聯(lián)網(wǎng)的廣泛應(yīng)用,產(chǎn)生了更多更復雜的應(yīng)用,也使更多的移動設(shè)備和智能終端接入到網(wǎng)絡(luò),個人家庭和企業(yè)基本實現(xiàn)了24小時在線狀態(tài),由此產(chǎn)生的數(shù)據(jù)及增長速度比歷史上時期都要快。信息量每年以59%的速度在增長,IDC的研究全球數(shù)據(jù)量大約每兩年翻一番,預(yù)計2020年世界上存儲總量達到35個GB。用戶的文檔、網(wǎng)絡(luò)內(nèi)容、社交媒體等,數(shù)據(jù)種類的格式也日漸豐富,半結(jié)構(gòu)化和非結(jié)構(gòu)化的數(shù)據(jù)也是幾何級數(shù)的增長,數(shù)據(jù)的采集和處理也必須是實時迅速的,總之海量多樣和實時是大數(shù)據(jù)的顯著特征。
中國作為世界大國之一,作為全球為數(shù)不多的快速發(fā)展經(jīng)濟體,國內(nèi)網(wǎng)民規(guī)模、移動用戶規(guī)模、智能終端用戶規(guī)模和增速在全世界都是***。企業(yè)和政府的信息化有巨大的挖掘的廣度和深度,意味著中國的數(shù)據(jù)市場是全球含金量***的大數(shù)據(jù)金礦。也許2012年大數(shù)據(jù)高富帥的時髦詞匯,2013年屌絲和土豪也可以跟你聊聊什么是大數(shù)據(jù)。2013年是全民大數(shù)據(jù)時代已經(jīng)上升為國民戰(zhàn)略,奧巴馬將大數(shù)據(jù)戰(zhàn)略上升為國家意志,這是未來的“新石油”,將成為綜合國力的重要的組成部分。
未來對數(shù)據(jù)的占有和控制甚至將成為路權(quán)、海權(quán)、空權(quán)之外的另一種國家資產(chǎn),隨著數(shù)據(jù)的爆炸,數(shù)據(jù)的采集、挖掘、分享等任務(wù)將是牽一發(fā)動全身的挑戰(zhàn),人類可以發(fā)現(xiàn)新的知識和價值,帶來大科技、大知識、大發(fā)展。
今年大數(shù)據(jù)也走進了中國政府的視野,廣州和重慶發(fā)布了政府大數(shù)據(jù)計劃,十三屆三中全會都提及統(tǒng)計、稅收、房地產(chǎn)等關(guān)鍵領(lǐng)域的統(tǒng)一數(shù)據(jù)平臺,大數(shù)據(jù)是推動政府轉(zhuǎn)型的重要的禮器。大數(shù)據(jù)也將成為中國的國家戰(zhàn)略。
2006年Hadoop誕生,隨著越來越多的用戶的加入,不斷的使用貢獻和完善,形成了強大的生態(tài)企業(yè),從09年開始隨著云計算和大數(shù)據(jù)飛速發(fā)展,Hadoop作為海量數(shù)據(jù)分析的***解決方案,開始受到IT廠商和互聯(lián)網(wǎng)企業(yè)的關(guān)注,出現(xiàn)了很多Hadoop的商業(yè)版和支持Hadoop的產(chǎn)品,例如雅虎使用四千個節(jié)點的機群運行,包括存儲日志和數(shù)據(jù),Hadoop技術(shù)憑借可以關(guān)聯(lián)結(jié)構(gòu)化和非結(jié)構(gòu)化數(shù)據(jù)的能力,擴展的成本低廉,高可靠、高性能等優(yōu)勢正在對全球大數(shù)據(jù)產(chǎn)業(yè)發(fā)揮著重要的技術(shù)工具作用。
國內(nèi)基于Hadoop的應(yīng)用也已經(jīng)落地開花,尤其是互聯(lián)網(wǎng)領(lǐng)域,熟練掌握了并在廣告搜索等領(lǐng)域廣泛的Hadoop技術(shù),京東商城Hadoop商城也是應(yīng)用倉儲配送等數(shù)據(jù),中國的高校和科研院所基于Hadoop包括系統(tǒng)優(yōu)化和安全性上做了研究,多以開源的形式回饋給Hadoop社區(qū)。新的業(yè)務(wù)模式會不斷的涌現(xiàn),Hadoop也在向電信、電子商務(wù)、生物制藥等領(lǐng)域拓展,相信中國這片大數(shù)據(jù)沃土讓,依靠所有同行的創(chuàng)造性工作,Hadoop技術(shù)將會不斷完善,Hadoop的商業(yè)項目會遍地開花,為中國大數(shù)據(jù)產(chǎn)業(yè)發(fā)展提供更多的推動力。
大數(shù)據(jù)浪潮已經(jīng)不可逆轉(zhuǎn),以Hadoop為代表的技術(shù)成為了推動歷史的車輪,讓我們共同來完成我們的歷史使命吧!