IDC預(yù)測(cè)，中國(guó)未來幾年，會(huì)有越來越多的企業(yè)級(jí)用戶試水大數(shù)據(jù)平臺(tái)和應(yīng)用，而Hadoop被看成大數(shù)據(jù)分析的“神器”，將成為最耀眼的“明星”。Hadoop相關(guān)的數(shù)據(jù)應(yīng)用遍地開花,在各行各業(yè)做得風(fēng)生水起。僅以互聯(lián)網(wǎng)為例，目前京東、淘寶、騰訊、百度、Amazon、一淘、人人、優(yōu)酷、搜狐、搜狗、暴風(fēng)影音、Ebay、樂視、PPTV、小米等IT企業(yè)都親自操刀,利用Hadoop 大干一場(chǎng)。 正所謂時(shí)勢(shì)造英雄，大數(shù)據(jù)時(shí)代是一個(gè)英雄輩出的時(shí)代，十名Committer齊聚京城，屆時(shí)Hadoop行業(yè)英雄譜將唱響2013 Hadoop中國(guó)技術(shù)峰會(huì)的現(xiàn)場(chǎng)。我們?yōu)榇蠹冶狭宋鍌€(gè)頗具代表的Hadoop行業(yè)案例，為您分享2013 Hadoop中國(guó)技術(shù)峰會(huì)的精彩內(nèi)容。大會(huì)官網(wǎng)：http://www.chinahadoop.com/

 

Hortonworks 再續(xù)前緣: Hadoop 2.0 強(qiáng)勢(shì)來襲

 

俗話說得好，“聰明絕頂！”2013 Hadoop中國(guó)技術(shù)峰會(huì)特邀的這位光頭老外就是大名鼎鼎的Hortonworks公司的亞太技術(shù)總監(jiān)Jeff Markham。大數(shù)據(jù)分析服務(wù)公司Hortonworks乃名門雅虎之后，它與雅虎聯(lián)手貢獻(xiàn)了Hadoop主干項(xiàng)目80%以上的源碼。此外，Hortonworks公司還被認(rèn)為是 Hadoop 2.0、Apache Hadoop Yarn的主要貢獻(xiàn)者。

 

 

在本次2013 Hadoop中國(guó)技術(shù)峰會(huì)中，Jeff演講的重要主題之一是Hadoop2——Yarn。談到Y(jié)ARN的誕生，Jeff表示，舊版MapReduce的JobTracker/TaskTracker機(jī)制需要通過大規(guī)模的調(diào)整來修復(fù)它在可擴(kuò)展性、內(nèi)存消耗、線程模型、可靠性和性能方面的缺陷。Hortonworks在著手構(gòu)建Hadoop2.0時(shí)，希望從根本上重新設(shè)計(jì)Hadoop的架構(gòu)，從而達(dá)到可以在Hadoop上運(yùn)行多個(gè)應(yīng)用程序并處理相關(guān)數(shù)據(jù)集的目的。這樣一來，多種類型的應(yīng)用程序都可以高效、可控地運(yùn)行在同一個(gè)集群上。這是以Hadoop 2.0為基礎(chǔ)的Apache YARN之所以能夠誕生的真正原因。

 

京東在電商行業(yè)的淘金利器 ：利用Hadoop在大數(shù)據(jù)領(lǐng)域大展拳腳

 

也許Jeff錯(cuò)過了中國(guó)網(wǎng)購(gòu)的“龍卷風(fēng)”，相信他還來不及體驗(yàn)中國(guó)的雙十一有多么地瘋狂。不過沒關(guān)系，如果您有機(jī)會(huì)參加2013 Hadoop中國(guó)技術(shù)峰會(huì)，不妨?xí)駮耠p十一那些可圈可點(diǎn)的網(wǎng)購(gòu)吸金數(shù)字，160萬個(gè)文胸高過3個(gè)珠穆朗瑪峰，9小時(shí)銷售的紙尿褲可以吸干6個(gè)西湖。相信精明的他會(huì)利用這個(gè)機(jī)會(huì)找京東的人推銷一下YARN。

 

 

互聯(lián)網(wǎng)行業(yè)，誰掌握了用戶數(shù)據(jù)，誰就有資本賺錢。以低價(jià)、正品行貨而躋身電商巨頭行業(yè)的電商京東吸引了大批的粉絲，十年來積累了上億個(gè)寶貴價(jià)值的用戶數(shù)據(jù)。傳統(tǒng)公司如銀行、保險(xiǎn)機(jī)構(gòu)、電信企業(yè)等，它們的數(shù)據(jù)大多都是結(jié)構(gòu)化的；而互聯(lián)網(wǎng)公司像百度、騰訊等企業(yè)的數(shù)據(jù)，多來源于網(wǎng)絡(luò)評(píng)論、用戶日志等，這些數(shù)據(jù)是非結(jié)構(gòu)化或半結(jié)構(gòu)化的。京東之類的電商企業(yè)的數(shù)據(jù)處于二者之間：從用戶下單到倉(cāng)儲(chǔ)分揀，再到配送，整個(gè)交易鏈條上的數(shù)據(jù)是結(jié)構(gòu)化的；而用戶的網(wǎng)站瀏覽行為、購(gòu)買評(píng)價(jià)等各種數(shù)據(jù)是非結(jié)構(gòu)化的。京東需要做的是將結(jié)構(gòu)化和非結(jié)構(gòu)化的數(shù)據(jù)巧妙的融合起來，從而實(shí)現(xiàn)客戶洞察、用戶定位、風(fēng)險(xiǎn)評(píng)估等一系列與大數(shù)據(jù)有關(guān)的分析和決策行為。

 

在電商淘金熱潮中，大數(shù)據(jù)已經(jīng)成為了京東所向披靡的競(jìng)爭(zhēng)利器。如何利用大數(shù)據(jù)來挖掘這十年積累的數(shù)據(jù)，為企業(yè)提供決策支持，支持京東更好更大的發(fā)展，是擺在京東Hadoop團(tuán)隊(duì)面前的核心難題。為此，2013 Hadoop中國(guó)技術(shù)峰會(huì)同時(shí)邀請(qǐng)了3位資深京東Hadoop技術(shù)專家，從各個(gè)維度深入剖析京東的大數(shù)據(jù)Hadoop應(yīng)用，包括營(yíng)銷體系、廣告推放、倉(cāng)儲(chǔ)調(diào)撥、銷售預(yù)測(cè)，物流配送等。舉個(gè)例子，用戶沒有來的時(shí)候有貨，這并不表明用戶來的時(shí)候一定會(huì)有貨。京東需要對(duì)用戶訪問量和商品數(shù)據(jù)進(jìn)行分析，整合出一個(gè)較為準(zhǔn)確的現(xiàn)貨率，實(shí)時(shí)提供給采購(gòu)部門備貨，從而優(yōu)化用戶體驗(yàn)。

 

如何在合適的時(shí)間向目標(biāo)客戶推送正確的內(nèi)容？幾乎所有的電商企業(yè)都會(huì)基于用戶的購(gòu)買行為做精準(zhǔn)營(yíng)銷。京東也不例外，每天都會(huì)產(chǎn)生幾億的PV，但其先進(jìn)的Hadoop的數(shù)據(jù)分析手段蓋過了簡(jiǎn)單的E-mail與短信勢(shì)頭。京東依靠大數(shù)據(jù)對(duì)用戶建模，進(jìn)行正確的畫像分析、定位模型。簡(jiǎn)單來講，京東利用Hadoop對(duì)對(duì)用戶海量評(píng)論和搜索日志的分析和挖掘，包括性別、年齡、是否有房有車等多個(gè)維度，制定大數(shù)據(jù)分析模型，從而判斷用戶是購(gòu)買沖動(dòng)型還是目標(biāo)明確性，理解用戶的購(gòu)買意圖，然后根據(jù)不同用戶屬性推薦不同的商品，從而提升用戶體驗(yàn)，給用戶帶來了更多的價(jià)值。

 

小米進(jìn)軍云服務(wù)行業(yè)：大力發(fā)展HBase技術(shù)

 

如果說58是個(gè)神奇的網(wǎng)站，那么小米就是一個(gè)神奇的公司。對(duì)比一下，歷經(jīng)百年的老牌諾基亞加上全部專利的總資產(chǎn)才72億，而成立不久的小米估值造就超過了100億美元。 談起小米，它的饑餓營(yíng)銷法在中國(guó)市場(chǎng)可謂如火如荼，就連蘋果的黃牛都開始囤積小米了。相比于小米手機(jī)，小米大數(shù)據(jù)顯得并不張揚(yáng)，但這絲毫不影響它在大數(shù)據(jù)領(lǐng)域的實(shí)力。這不，HBase的總牽頭人Michael Stack就專程來看看這個(gè)神奇的公司。要知道，小米云服務(wù)的大部分結(jié)構(gòu)性數(shù)據(jù)都是采用HBase的延伸技術(shù)存儲(chǔ)，小米提交了65項(xiàng)HBase的補(bǔ)丁，其中37項(xiàng)已經(jīng)被并入HBase主代碼樹。而作為小米大數(shù)據(jù)團(tuán)隊(duì)而言，當(dāng)然也不會(huì)錯(cuò)過中國(guó)最有價(jià)值的Hadoop技術(shù)盛宴——2013 Hadoop中國(guó)技術(shù)峰會(huì)這個(gè)平臺(tái)，來為大家現(xiàn)場(chǎng)分享小米云服務(wù)是如何運(yùn)用HBase相關(guān)技術(shù)的。

大數(shù)據(jù)在視頻中的數(shù)字游戲：優(yōu)酷土豆利用Hadoop挖掘數(shù)據(jù)中的價(jià)值

 

視頻似乎是看不完的，看完一個(gè)視頻，會(huì)有一個(gè)又一個(gè)的相關(guān)的視頻推薦，視頻行業(yè)儼然成為了大數(shù)據(jù)時(shí)代的先鋒。優(yōu)酷土豆作為一家耳熟能詳?shù)拇笮鸵曨l網(wǎng)站，擁有海量的視頻文件。有這樣一種技術(shù)，亞馬遜和谷歌都在用，亞馬遜會(huì)告訴你“買了A商品的顧客也同時(shí)購(gòu)買了B商品”，Youtube上，一個(gè)視頻播放結(jié)束，馬上就會(huì)出現(xiàn)相關(guān)推薦視頻。同樣，優(yōu)酷也就靠著這種基于Hadoop的“協(xié)同過濾推薦”的技術(shù)給用戶推薦他們喜歡看的視頻。

 

正所謂燕雀安知鴻鵠之志哉？當(dāng)然，優(yōu)酷土豆并不滿足于把數(shù)據(jù)的挖掘分析只用在簡(jiǎn)單的推薦視頻上，優(yōu)酷土豆希望能夠在行業(yè)內(nèi)樹立一個(gè)標(biāo)桿，作為它的拳頭性平臺(tái)化戰(zhàn)略產(chǎn)品“中國(guó)網(wǎng)絡(luò)視頻指數(shù)”更是成為了大數(shù)據(jù)時(shí)代的弄潮兒。

 

優(yōu)酷土豆擁有海量的數(shù)據(jù)，僅運(yùn)營(yíng)數(shù)據(jù)，目前每天收集到的網(wǎng)站各類訪問日志總量已經(jīng)達(dá)到TB級(jí)，經(jīng)分析及壓縮處理后留存下來的歷史運(yùn)營(yíng)數(shù)據(jù)已達(dá)數(shù)百TB，很快將飆升到 PB級(jí)，5年后數(shù)據(jù)量將會(huì)突破幾十PB級(jí)。如何更好地處理和分析這些海量數(shù)據(jù)？如何在海量數(shù)據(jù)中掘金?這將成為優(yōu)酷土豆值得花力氣研究的事情。

 

在本屆2013 Hadoop中國(guó)技術(shù)峰會(huì)中，來自優(yōu)酷土豆的Hadoop技術(shù)專家將現(xiàn)場(chǎng)剖析Hadoop在廣告、網(wǎng)站、無線、搜索等方面的應(yīng)用。在優(yōu)酷土豆平臺(tái)上，每當(dāng)用戶點(diǎn)擊播放視頻時(shí)，優(yōu)酷土豆都會(huì)對(duì)頁面瀏覽、評(píng)論收藏、視頻播放以及播放時(shí)的各種操作進(jìn)行了記錄。這些數(shù)據(jù)經(jīng)處理后的分析結(jié)果會(huì)反饋給不同相關(guān)業(yè)務(wù)模塊用作參考，來自產(chǎn)品、內(nèi)容運(yùn)營(yíng)、用戶的個(gè)性化推薦及廣告投放等業(yè)務(wù)部門都會(huì)受益匪淺。

 

內(nèi)容方面，優(yōu)酷土豆通過對(duì)用戶網(wǎng)絡(luò)情況進(jìn)行數(shù)據(jù)統(tǒng)計(jì)：比如每次播放是否發(fā)生了緩沖，平均下載速度是多少等，憑借對(duì)這些數(shù)據(jù)進(jìn)行實(shí)時(shí)的統(tǒng)計(jì)和計(jì)算，獲取每個(gè)地區(qū)每個(gè)運(yùn)營(yíng)商下用戶的加載表現(xiàn)，以此來決定CDN節(jié)點(diǎn)的分布和分配策略，為不同地區(qū)、不同運(yùn)營(yíng)商的用戶提供清晰流暢的視頻服務(wù)。

 

在推薦方面，優(yōu)酷土豆通過對(duì)大量視頻播放行為的分析，歸納不同時(shí)長(zhǎng)、不同類型、不同內(nèi)容的視頻之間的相互關(guān)聯(lián)，挖掘不同人群用戶的同質(zhì)化觀看習(xí)慣，對(duì)每次用戶的觀看進(jìn)行有針對(duì)性的后續(xù)推薦，并借助后續(xù)數(shù)據(jù)的分析，迭代地改善現(xiàn)有服務(wù)，為用戶提供量身定制的推送服務(wù)。

 

 

VMWare 領(lǐng)跑虛擬化行業(yè)：Hadoop的大數(shù)據(jù)擴(kuò)展技術(shù)更勝一籌

 

作為虛擬化技術(shù)的旗幟，VMware始終領(lǐng)跑虛擬化與云計(jì)算的發(fā)展。不過，VMWare的雄心遠(yuǎn)不止如此。VMWare開始發(fā)力Hadoop虛擬化相關(guān)技術(shù)。近日，VMware宣布推出了VMware vSphere Big Data Extensions(大數(shù)據(jù)擴(kuò)展)，這將允許該公司廣受歡迎的基礎(chǔ)設(shè)施管理軟件來控制企業(yè)客戶建立的Hadoop集群。這樣一來，成千上萬的VMware企業(yè)客戶將能夠使用他們已經(jīng)熟悉的軟件來控制Hadoop部署。

 

為此，2013 Hadoop中國(guó)技術(shù)峰會(huì)組委會(huì)特意邀請(qǐng)了兩位VMWare重量級(jí)技術(shù)專家，為您庖丁解牛,講解VMware的大數(shù)據(jù)方案。 

 

創(chuàng)投資金給了誰？誰能獲得自己的一桶金？

 

2013上半年IDG、紅杉們的錢都給了誰？大數(shù)據(jù)成為了投資最熱關(guān)鍵詞，互聯(lián)網(wǎng)以信息為本，在大數(shù)據(jù)領(lǐng)域，做數(shù)據(jù)分析、挖掘等相關(guān)技術(shù)備受青睞。值得一提的是，2013 Hadoop中國(guó)技術(shù)峰會(huì)特別增設(shè)了一個(gè)大數(shù)據(jù)創(chuàng)業(yè)與投資的主題論壇，新浪微博基金、美國(guó)光速創(chuàng)業(yè)投資、IDG資本投資顧問(北京)有限公司、中通銀泰、星環(huán)信息(上海)有限公司、Xadoop、天云大數(shù)據(jù)、云創(chuàng)存儲(chǔ)等單位將共同分享大數(shù)據(jù)領(lǐng)域的創(chuàng)業(yè)和投資方面的故事，希望能同時(shí)幫助到創(chuàng)業(yè)者和投資者?，F(xiàn)在團(tuán)隊(duì)購(gòu)票還有優(yōu)惠，欲想了解詳細(xì)議程，請(qǐng)?jiān)L問www.chinahadoop.com /hadoop.it168.com。今年銷售一如既往的火爆，若不想等門票售罄，請(qǐng)及早預(yù)定。