大數(shù)據(jù)：價值實現(xiàn)之旅
大數(shù)據(jù)開啟了人類數(shù)據(jù)管理史的一段嶄新旅程。人類想要測量、記錄和分析世界的渴望是驅(qū)動大數(shù)據(jù)技術(shù)不斷向前的動力。但如同此前的電子商務(wù)、云計算等創(chuàng)新構(gòu)想一樣，大數(shù)據(jù)也不得不懷抱變革理想在現(xiàn)實中披荊斬棘。
我們該如何定義我們所身處的信息技術(shù)時代?是云計算、社交、移動，還是大數(shù)據(jù)?相信每位從業(yè)者和客戶都會有自己的認知與解讀。“一千個人眼中就有一千個哈姆雷特”，很多時候是一個放之四海皆準(zhǔn)的道理，更何況我們正在經(jīng)歷一段創(chuàng)新趨勢疊加、創(chuàng)新領(lǐng)域融合的獨特時期。而對于那些想要體會技術(shù)創(chuàng)新真正內(nèi)涵的人士，有一個話題永遠不可回避，這就是技術(shù)創(chuàng)新到底會給其受眾帶來怎樣的真實價值?這種價值是否能夠在其被發(fā)掘后長期、持續(xù)地給予?
本文重點關(guān)注大數(shù)據(jù)技術(shù)這一重大技術(shù)創(chuàng)新趨勢在企業(yè)環(huán)境中價值實現(xiàn)的過程。在全民熱議的氛圍中，或許我們可以暫時遠離那些對大數(shù)據(jù)的定義、技術(shù)特征、未來走向的種種爭論，潛心聆聽喧囂中實地探索的腳步。我們希望與您共同探討大數(shù)據(jù)所能夠開辟的數(shù)據(jù)價值轉(zhuǎn)換與兌現(xiàn)路徑，從而為企業(yè)高效、合理利用快速增長的業(yè)務(wù)數(shù)據(jù)帶來啟發(fā)。也希望這些來自中國企業(yè)的真實應(yīng)用案例能夠證明，大數(shù)據(jù)并不僅僅是一個催生布道師的舞臺，它正在真切地影響著我們的工作與生活。
腳踏實地的大數(shù)據(jù)
人類的想象力有多豐富，大數(shù)據(jù)的未來世界就會有多廣博。要讓海量數(shù)據(jù)資源變成寶貴的商業(yè)資產(chǎn)，企業(yè)的大數(shù)據(jù)技術(shù)實踐者們需要從現(xiàn)實中起步。
如今，“大數(shù)據(jù)”總會與“變革”作為聯(lián)動的詞匯出現(xiàn)。牛津大學(xué)網(wǎng)絡(luò)學(xué)院互聯(lián)網(wǎng)研究所治理與監(jiān)管專業(yè)教授維克托·邁爾-舍恩伯格在其著作《大數(shù)據(jù)時代》一書中，將大數(shù)據(jù)定義為一次重大時代轉(zhuǎn)型的開啟者，稱其將會引發(fā)一場生活、工作與思維的大變革。
他認為，在大數(shù)據(jù)時代，人類處理數(shù)據(jù)的方法和思維模式將被徹底改變，它會呈現(xiàn)出一些前所未有的現(xiàn)象。比方說，人們將會分析更多的數(shù)據(jù)，而不再依賴于隨機采樣;人們將不再沉迷于對數(shù)據(jù)分析精確度的追求，轉(zhuǎn)而關(guān)注對趨勢的把握;人們不會再習(xí)慣性地追問事情的因果，而是尋找事物之間的相關(guān)關(guān)系。
無論這些數(shù)據(jù)處理的未來趨勢最終是否能夠成真，我們都可以從日常的工作和生活中窺探到一些變化的端倪。首先，企業(yè)的數(shù)據(jù)管理范疇正在不斷擴大，在線交易、Web日志、點擊流、傳感器信息、社交媒體數(shù)據(jù)等都被納入企業(yè)的業(yè)務(wù)數(shù)據(jù)集。另一方面，我們在生活中會遇到越來越多與數(shù)據(jù)分析相關(guān)的商業(yè)創(chuàng)意。例如，各個電子商務(wù)、視頻網(wǎng)站中花樣繁多的推薦系統(tǒng)，還有超市中零食與手電筒這樣不明所以、卻能帶來實際銷售增長的擺放組合。
大數(shù)據(jù)對企業(yè)究竟意味著什么?舍恩伯格在《大數(shù)據(jù)時代》一書中做出了這樣的描述：“在大數(shù)據(jù)時代，數(shù)據(jù)的價值從它最基本的用途轉(zhuǎn)變?yōu)槲磥淼臐撛谟猛尽＿@一轉(zhuǎn)變意義重大，它影響了企業(yè)評估其擁有的數(shù)據(jù)及訪問者的方式，促使甚至是迫使公司改變他們的商業(yè)模式，同時也改變了組織看待和使用數(shù)據(jù)的方式。”
轉(zhuǎn)變并不會在一夜之間發(fā)生。從多來源的數(shù)據(jù)采集，到通過深度分析獲取洞察力，之間會是一段并不平坦的征程。毫無疑問，Hadoop等技術(shù)的日趨成熟，讓企業(yè)用戶可以更方便地、在更大的范圍內(nèi)收集業(yè)務(wù)的相關(guān)數(shù)據(jù)，但同時真正的挑戰(zhàn)也會接踵而至。這就是如何高效地處理多來源的海量數(shù)據(jù)，并且為其找到適合的商業(yè)用途。
在過去的一個月里，我們實地探訪了三家正在實際部署大數(shù)據(jù)應(yīng)用的企業(yè)。它們分別是京東(JD.com)、人人游戲和PPTV聚力。這三家互聯(lián)網(wǎng)企業(yè)正在用業(yè)界前沿的數(shù)據(jù)管理思維，展開大數(shù)據(jù)技術(shù)的早期實踐。同時，在它們身上也折射出全球互聯(lián)網(wǎng)企業(yè)利用大數(shù)據(jù)的實際趨勢。全球范圍內(nèi)與之業(yè)務(wù)相類似的在線零售巨頭亞馬遜(Amazon.com)、社交游戲先鋒Zynga、全球最大的在線影片租賃服務(wù)商Netflix，同樣處在大數(shù)據(jù)商業(yè)應(yīng)用的最前沿。
另外，我們還特別加入了一個寓技術(shù)于體育競技的輕松案例。網(wǎng)球賽場上細致入微的數(shù)據(jù)統(tǒng)計和分析背后，正是大數(shù)據(jù)技術(shù)的鼎力支持。
遠觀不如近臨。大數(shù)據(jù)的價值實現(xiàn)之旅已經(jīng)啟程，改變就在我們的身邊發(fā)生! #p#
京東：PB級數(shù)據(jù)價值發(fā)現(xiàn)
擁有一億用戶、營業(yè)規(guī)模達數(shù)百億元的大型網(wǎng)絡(luò)零售企業(yè)京東(JD.com)，在大數(shù)據(jù)應(yīng)用領(lǐng)域?qū)崿F(xiàn)了分布式架構(gòu)與傳統(tǒng)BI工具的有機融合。
成立于2004年的京東商城(以下簡稱為京東)在2012年的交易金額突破600億元，相當(dāng)于每秒就會產(chǎn)生2000元的交易額。在網(wǎng)絡(luò)零售市場深耕近十年之后，京東也正式邁入了PB級數(shù)據(jù)管理的新時代。對企業(yè)而言，PB級(1PB=1024TB)的數(shù)據(jù)管理算得上是衡量其數(shù)據(jù)規(guī)模和管理能力的一個重要標(biāo)尺。目前，全球PB級數(shù)據(jù)管理俱樂部已經(jīng)擁有Facebook、淘寶等重要成員，能夠躋身其中對京東而言是榮譽，也意味著挑戰(zhàn)。
“針對業(yè)務(wù)數(shù)據(jù)快速增長的情況，我們在2012年正式啟動了大數(shù)據(jù)平臺的搭建。這個自主開發(fā)的平臺基于分布式的技術(shù)，支持異構(gòu)數(shù)據(jù)集市，同時也很好地利用了傳統(tǒng)BI的展現(xiàn)層技術(shù)。”京東副總裁李曦說。目前，李曦正帶領(lǐng)著300人的技術(shù)團隊不斷地改進和完善京東從數(shù)據(jù)的獲取、平臺搭建、分析到應(yīng)用的電商全流程業(yè)務(wù)數(shù)據(jù)管理工作。在2012年加入京東之前，李曦在美國硅谷工作多年，相繼服務(wù)于Siebel、甲骨文、谷歌等公司。
全流程大數(shù)據(jù)管理
在數(shù)據(jù)獲取方面，京東對各個購物頻道的交易數(shù)據(jù)、出入貨數(shù)據(jù)、逆向物流、用戶瀏覽日志等數(shù)據(jù)進行了全面的收集，同時也會從互聯(lián)網(wǎng)上抓取一些商品價格等業(yè)務(wù)相關(guān)信息。這些數(shù)據(jù)會被匯總和存儲在京東自主研發(fā)的大數(shù)據(jù)平臺之上。這個平臺支持不同的數(shù)據(jù)集市，例如分布式的數(shù)據(jù)集市，或者是甲骨文、MySQL、微軟SQL Server等關(guān)系型數(shù)據(jù)集市。平臺底層的數(shù)據(jù)存儲和離線批量數(shù)據(jù)運算由Hadoop實現(xiàn)，流式計算方面則采用的是開源實時數(shù)據(jù)處理框架Storm。
在承載匯總、存儲和查詢?nèi)蝿?wù)的大數(shù)據(jù)平臺之上是大數(shù)據(jù)分析層，這一層級主要涉及到一些建模的工作。例如針對用戶、商品、商家、促銷、反作弊、風(fēng)險控制、精準(zhǔn)營銷、運營優(yōu)化的數(shù)據(jù)建模等。而這些數(shù)據(jù)模型最終的分析結(jié)果會在應(yīng)用層得以展現(xiàn)。目前，京東已經(jīng)能夠向內(nèi)部和外部用戶提供BI(商業(yè)智能)服務(wù)。
其中，內(nèi)部BI系統(tǒng)向從業(yè)務(wù)員到高級管理者的不同層級數(shù)據(jù)消費者提供各種門類的業(yè)務(wù)報表和歷史報表。而對于在京東售賣貨品的商家，京東數(shù)據(jù)羅盤則可以向他們展現(xiàn)店鋪流量、訂單數(shù)量、實時客流等關(guān)鍵業(yè)務(wù)指標(biāo)，以及節(jié)日促銷指數(shù)、價格彈性、用戶喜好等分析功能。
談到傳統(tǒng)BI技術(shù)在大數(shù)據(jù)時代所扮演的角色，李曦表示，傳統(tǒng)BI手段在大數(shù)據(jù)應(yīng)用環(huán)境中仍然有其價值，尤其是在呈現(xiàn)能力方面。他說：“京東早期的數(shù)據(jù)分析建立在傳統(tǒng)BI之上，它所采用的中央集中式模式會在主機應(yīng)用層面造成瓶頸，但傳統(tǒng)BI數(shù)據(jù)集中的理念并沒有過時，特別是其功能強大的呈現(xiàn)工具同樣適用于互聯(lián)網(wǎng)行業(yè)。”目前，京東在大數(shù)據(jù)處理的展現(xiàn)層仍在使用甲骨文BIEE等傳統(tǒng)BI工具。
“作為一家電商企業(yè)，京東的零售業(yè)務(wù)數(shù)據(jù)基本上是結(jié)構(gòu)化的，而用戶訪問行為數(shù)據(jù)又是非結(jié)構(gòu)化的，因此京東全流程數(shù)據(jù)匯總實際上是把結(jié)構(gòu)化、半結(jié)構(gòu)化和非結(jié)構(gòu)化數(shù)據(jù)融合起來的過程。”李曦說。他表示，這樣的數(shù)據(jù)組成結(jié)構(gòu)實際影響了京東的大數(shù)據(jù)技術(shù)選擇。在數(shù)據(jù)倉庫層面，京東選擇了可擴展性強的分布式架構(gòu)，而在應(yīng)用層將相對發(fā)達的BI工具加以有效利用，實現(xiàn)了傳統(tǒng)與創(chuàng)新的融合。
大數(shù)據(jù)價值就在身邊
京東對大數(shù)據(jù)的利用不僅體現(xiàn)在內(nèi)部管理和服務(wù)商家方面，如果你是一位顧客，只要訪問JD.com就能感受到大數(shù)據(jù)技術(shù)為您營造出的購物體驗。在這里，商品的搜索、推薦都是基于京東大數(shù)據(jù)平臺的實時匯總和結(jié)果推送。比方說搜索的排序就可以基于用戶的點擊習(xí)慣、用戶好評度等指標(biāo)進行個性化定制。站內(nèi)廣告和聯(lián)盟廣告的推送也可以根據(jù)相關(guān)的指標(biāo)進行定向發(fā)布。
李曦表示，經(jīng)過近三年的探索，大數(shù)據(jù)技術(shù)的價值正在京東業(yè)務(wù)運營的不同領(lǐng)域得到逐步的體現(xiàn)。基于大數(shù)據(jù)的匯總與分析，京東正在不斷完善包含電子郵件、短信、廣告等在內(nèi)的精準(zhǔn)營銷體系。站在業(yè)務(wù)運營優(yōu)化角度，大數(shù)據(jù)技術(shù)能夠切實提升工作效率，為京東帶來直接的成本節(jié)約，并營造出更優(yōu)的客戶體驗。
京東副總裁 李曦 #p#
人人游戲：360°客戶視圖很重要
作為國內(nèi)最大的網(wǎng)頁游戲和智能手機游戲的研發(fā)、運營和發(fā)行商之一，人人游戲的大數(shù)據(jù)價值發(fā)現(xiàn)從結(jié)構(gòu)化數(shù)據(jù)集起步，逐步向非結(jié)構(gòu)化數(shù)據(jù)集延伸。
在驕陽似火的七月，人人游戲的“詞云”應(yīng)用火熱上線了。所謂“詞云”，就是先對人人游戲玩家的在線聊天記錄進行分詞，匯總之后對玩家行為進行分析和展現(xiàn)。目前，“詞云”已經(jīng)在人人游戲的四款重點游戲中安家落戶，隨后有關(guān)玩家情緒的分析功能(通過關(guān)鍵詞對應(yīng)玩家的情緒指數(shù))也將上線。人人游戲運營平臺總監(jiān)、數(shù)據(jù)中心負責(zé)人王坤表示，“詞云”應(yīng)用的上線是人人游戲?qū)Υ髷?shù)據(jù)的利用從結(jié)構(gòu)化數(shù)據(jù)集向非結(jié)構(gòu)化數(shù)據(jù)集延展的重要一步。
成立于2006年的人人游戲正在努力轉(zhuǎn)型為一家跨PC、平板電腦和手機終端的多平臺游戲研發(fā)、運營和發(fā)行商。從2007年推出第一款網(wǎng)頁游戲《貓游記》至今，人人游戲一步步向著這一目標(biāo)靠近。在此過程中，人人游戲堅持在“跨屏”技術(shù)創(chuàng)新領(lǐng)域的研發(fā)投入，同時也積極利用大數(shù)據(jù)技術(shù)優(yōu)化整體業(yè)務(wù)運營。
目前，王坤所領(lǐng)導(dǎo)的30余人的技術(shù)團隊正致力于從包括游戲日志、玩家行為數(shù)據(jù)、日常經(jīng)營數(shù)據(jù)等在內(nèi)的大數(shù)據(jù)集中尋找更好的數(shù)據(jù)利用和展現(xiàn)途經(jīng)，同時他們還是大數(shù)據(jù)應(yīng)用在企業(yè)內(nèi)部營銷推廣的主力軍。“我們要做每個員工的大數(shù)據(jù)分析，而不僅僅是數(shù)據(jù)中心的大數(shù)據(jù)分析。要做好游戲行業(yè)的大數(shù)據(jù)分析，構(gòu)建360°的用戶視圖非常重要。”她說。
從0°到360°
2009年，人人游戲?qū)τ跇I(yè)務(wù)數(shù)據(jù)的利用還停留在匯總游戲日志數(shù)據(jù)，僅用于簡單分析的階段。而在2013年，人人游戲已經(jīng)基本上完成了基于IBM Cognos的BI系統(tǒng)整體建設(shè)。同時，其基于Greenplum社區(qū)版的分布式數(shù)據(jù)倉庫也已初具規(guī)模。對人人游戲而言，這些都是獲得360°用戶視圖的必要工作。而360°用戶視圖為其業(yè)務(wù)運營和決策所帶來的價值則是實實在在的。
“BI系統(tǒng)主要是管理結(jié)構(gòu)化的大數(shù)據(jù)，我們搭建了報表、行動和洞察三位一體的閉環(huán)系統(tǒng)，而不僅僅是一個報表系統(tǒng)。”王坤說。新的BI系統(tǒng)將人人游戲的業(yè)務(wù)模型更加清晰地呈現(xiàn)出來，對游戲業(yè)務(wù)覆蓋用戶獲取、客戶存留、客戶付費的核心流程進行了優(yōu)化，能夠更準(zhǔn)確地為業(yè)務(wù)決策提供參考。在報表設(shè)計方面，王坤所帶領(lǐng)的技術(shù)團隊堅持遵循MECE(mutually-exclusive and collectively exhaustive，即相互排斥而又集體窮盡)的分析原則，確保每張報表都有清楚的存在意義。同時，BI系統(tǒng)上線后，企業(yè)在開發(fā)和運維方面的投入也有所降低。
“從結(jié)構(gòu)化大數(shù)據(jù)到非結(jié)構(gòu)化大數(shù)據(jù)，數(shù)據(jù)分析范圍和深度的擴展，讓我們能夠更準(zhǔn)確地把握玩家的行為和需求。”王坤說。以“詞云”應(yīng)用為例，“炸金礦”是人人游戲旗下“亂世天下”這款游戲中玩家參與度很高的一個玩法，玩家需要邀請一定數(shù)量的友人幫忙炸礦來贏取金幣。但在節(jié)假日期間，這款游戲的參與度通常都會下降。“通過‘詞云’分析后發(fā)現(xiàn)，節(jié)假日期間‘求炸’成為玩家的聊天熱詞。我們也因此得知，并不是玩家不愛玩這個游戲，而是玩家在節(jié)假日邀請不到足夠數(shù)量的友人幫忙炸礦?；谶@樣的分析，我們可以在節(jié)假日期間對游戲規(guī)則進行調(diào)整。”王坤說。
大數(shù)據(jù)的行業(yè)價值
“每個行業(yè)都會有自己的大數(shù)據(jù)故事。在游戲行業(yè)，大數(shù)據(jù)分析可能不會直接帶來電商網(wǎng)站那樣真金白銀的收入，但其價值同樣會體現(xiàn)在精準(zhǔn)營銷、客戶體驗優(yōu)化等多個層面。”王坤說。她指出，全面的大數(shù)據(jù)分析能夠有效提升玩家的留存率和轉(zhuǎn)化指標(biāo)，并且為游戲產(chǎn)品的研發(fā)提供指引。而個性化的精準(zhǔn)營銷同樣與大數(shù)據(jù)分析緊密相關(guān)，像是針對不同性別、不同年齡、不同地域人群的廣告精準(zhǔn)投放，背后都要依靠基于360°用戶視圖的玩家特征分析。
王坤坦言，對人人游戲乃至整個游戲行業(yè)來說，大數(shù)據(jù)的管理與分析仍然是一件“體力活”。“大數(shù)據(jù)團隊所面臨的最大挑戰(zhàn)是數(shù)據(jù)的整合，把多來源的結(jié)構(gòu)化、半結(jié)構(gòu)化和非結(jié)構(gòu)化數(shù)據(jù)整合在一起，很多企業(yè)還沒有做到。另外，在企業(yè)內(nèi)部和外部找到大數(shù)據(jù)的消費者，向他們營銷大數(shù)據(jù)技術(shù)，同樣是一件艱苦的工作。”她說。
人人游戲運營平臺總監(jiān)、數(shù)據(jù)中心負責(zé)人 王坤 #p#
PPTV聚力：看得見的大數(shù)據(jù)
在全球擁有超3億活躍用戶群體的網(wǎng)絡(luò)電視技術(shù)平臺提供商PPTV聚力，正在使用Hadoop、HBase、Hive、Storm等大數(shù)據(jù)技術(shù)打造個性化視頻推薦體驗，優(yōu)化視頻播放體驗，實現(xiàn)在線廣告的精準(zhǔn)投放。
2012年，根據(jù)有關(guān)統(tǒng)計顯示，在線視頻已經(jīng)超越社區(qū)交友和搜索服務(wù)躍升為互聯(lián)網(wǎng)第一大應(yīng)用。PPTV聚力目前全平臺月度活躍用戶達3.4億，每天的活躍用戶超5000萬。這一在線視頻平臺目前每天會產(chǎn)生數(shù)10TB包含用戶行為數(shù)據(jù)、訪問體驗數(shù)據(jù)等在內(nèi)的業(yè)務(wù)數(shù)據(jù)，針對在線視頻業(yè)務(wù)運營的實際需要，這些大數(shù)據(jù)每天會被采集、匯總到一個分布式的技術(shù)平臺上，再被應(yīng)用到不同的業(yè)務(wù)領(lǐng)域之中。
目前，PPTV聚力已經(jīng)建成的數(shù)百臺服務(wù)器規(guī)模的Hadoop集群是其大數(shù)據(jù)技術(shù)平臺的核心。在其上運行著Hive開源數(shù)據(jù)倉庫，基于Storm的分布式實時數(shù)據(jù)處理框架也已經(jīng)開始部署。“我們每天會從PPTV聚力數(shù)億個客戶端和分散在各地幾百個機房的服務(wù)器端采集日志數(shù)據(jù)，匯總到大數(shù)據(jù)平臺開展數(shù)據(jù)分析。”PPTV聚力技術(shù)部總經(jīng)理金昀說。
金昀所領(lǐng)導(dǎo)的技術(shù)部中目前有一個20余人的團隊，專門負責(zé)開放式大數(shù)據(jù)平臺的開發(fā)和運維，而PPTV聚力全公司的數(shù)百名技術(shù)人員、產(chǎn)品人員、運營人員、數(shù)據(jù)分析師都可以從不同的業(yè)務(wù)角度利用這個開放平臺，做業(yè)務(wù)數(shù)據(jù)分析，以及各種數(shù)據(jù)密集性的計算任務(wù)。畢業(yè)于清華大學(xué)的金昀曾經(jīng)參與永新視博(數(shù)字電視領(lǐng)域創(chuàng)業(yè)企業(yè))的創(chuàng)立，留美后在美國微軟公司服務(wù)7年，回國后曾服務(wù)于阿里云，2011年加入PPTV聚力。
大數(shù)據(jù)優(yōu)化觀看體驗
對PPTV聚力來說，大數(shù)據(jù)的來源主要包括用戶行為數(shù)據(jù)、工程技術(shù)數(shù)據(jù)，以及后端的業(yè)務(wù)運營數(shù)據(jù)。用戶行為數(shù)據(jù)主要來自從客戶端和服務(wù)器端采集的日志數(shù)據(jù)。例如哪個訪問者看了哪個視頻、拖動次數(shù)等;工程技術(shù)數(shù)據(jù)指的是不同地域用戶觀看視頻的啟動時間、卡頓次數(shù)、卡頓等待時長等;后端業(yè)務(wù)運營數(shù)據(jù)則包含廣告投放的相關(guān)數(shù)據(jù)信息等。
“這些數(shù)據(jù)組成了PPTV聚力豐富的大數(shù)據(jù)來源，而大數(shù)據(jù)的分析結(jié)果能直接應(yīng)用于商業(yè)運營的調(diào)優(yōu)。比如，我們購買了一部影視劇后，可以精確、實時地了解它在不同地區(qū)和時間段被觀看的次數(shù)，以此優(yōu)化后端的運營策略。另外，通過從不同的客戶端所獲取的訪問連接數(shù)據(jù)，我們可以根據(jù)不同地區(qū)、不同時段的網(wǎng)絡(luò)連接狀況，用最低的成本向用戶交付流暢的觀看體驗。”金昀說。
像美國同行Netflix一樣，PPTV聚力也在深入研究個性化的視頻推薦算法。PPTV聚力視頻頁面中的“猜你喜歡”欄目就是后臺大數(shù)據(jù)分析的成果。“視頻網(wǎng)站的用戶通常不會提供詳細準(zhǔn)確的注冊信息，而且用戶登錄率低，我們無法由此直接獲取用戶特征。因此，我們完全要從用戶的歷史訪問行為進行分析和判斷，對其習(xí)慣、喜好進行分類和標(biāo)記，最終實現(xiàn)個性化的視頻推薦。”金昀說。除了頁面內(nèi)的相關(guān)視頻推薦，PPTV聚力還計劃基于大數(shù)據(jù)技術(shù)開發(fā)全界面的用戶訪問個性化定制系統(tǒng)。金昀強調(diào)，視頻與電商、社交等網(wǎng)絡(luò)服務(wù)不同，其客戶行為的分析與預(yù)測具有獨特的復(fù)雜性。“用戶觀看行為的頭部效應(yīng)明顯，長尾效應(yīng)不足，視頻總數(shù)對比用戶數(shù)較低，品類多樣性也低，而消費成本卻很高，這些都對視頻自動推薦的效果產(chǎn)生了很大的挑戰(zhàn)。"金昀說。同時他認為，移動端視頻和OTT的高速發(fā)展，將會是個性化視頻推薦的一個重大發(fā)展機遇，只有吃透大數(shù)據(jù)的企業(yè)才能真正跟上移動視頻發(fā)展的浪潮。
滿足廣告主的“奇怪”需求
“一段廣告，要求讓某一地域的動作片用戶至少觀看三次，但又不能超過5次，否則就不付錢。還有的廣告有三個版本，用戶在觀看的時候不能重復(fù)，要遞進推送。這樣嚴苛的要求在傳統(tǒng)的電視廣告平臺上是不可能實現(xiàn)的。”金昀說。不過，對于廣告主而言，這些無疑是一種精準(zhǔn)營銷的合理設(shè)計，大數(shù)據(jù)分析為PPTV聚力所帶來的另一面商業(yè)價值也體現(xiàn)于此。
由于無法直接獲取準(zhǔn)確用戶的特征信息，PPTV聚力的技術(shù)團隊通過對用戶歷史訪問行為的分析，自動為其添加特征標(biāo)簽，并對具體廣告的承接能力進行預(yù)測，以滿足不同廣告主的個性化需求。金昀表示，基于大數(shù)據(jù)技術(shù)平臺，PPTV聚力已經(jīng)在廣告的定向投放、頻次控制等方面建立了相對成熟的策略和流程，并且注重在廣告精準(zhǔn)投放的同時，確保用戶的觀看體驗。
PPTV聚力技術(shù)部總經(jīng)理 金昀 #p#
大數(shù)據(jù)助威網(wǎng)球賽事
從舉世矚目的四大滿貫，到已經(jīng)躋身超級賽事行列的中國網(wǎng)球公開賽，大數(shù)據(jù)分析技術(shù)為球迷、球員和教練營造出“隨身而行”、“洞察入微”的高科技賽事體驗。
金秋送爽的九月，北京的網(wǎng)球迷們將會在家門口迎來一項年度盛大網(wǎng)球賽事——中國網(wǎng)球公開賽。這項已躋身超級賽事行列的賽事一直站在科技與體育結(jié)合的前沿。2006年，中網(wǎng)公開賽成為在美國以外首次使用鷹眼系統(tǒng)的巡回賽。而在2013年，關(guān)注此項賽事的網(wǎng)球迷們將可以通過網(wǎng)站和移動終端，享受到先進的賽事數(shù)據(jù)分析服務(wù)。
競賽數(shù)據(jù)實時分析
一談到網(wǎng)球這項運動，體育迷們總是會被其細致入微的各項技術(shù)統(tǒng)計所折服。運動員在場上的每一次揮拍、每一次擊打都可以轉(zhuǎn)化為數(shù)字，用于統(tǒng)計和分析。伴隨著數(shù)據(jù)種類和來源的擴充，網(wǎng)球賽事數(shù)據(jù)分析的顆粒度也在不斷細化。事實上，基于大數(shù)據(jù)技術(shù)的賽事數(shù)據(jù)實時獲取和分析服務(wù)已經(jīng)在四大滿貫賽事中被廣泛采用。
2008年，溫布爾頓網(wǎng)球公開賽(以下簡稱為溫網(wǎng))引入了IBM SlamTracker平臺。這是一個可以進行實時比分統(tǒng)計和分析的可視化平臺。它可以對每一場比賽的相關(guān)統(tǒng)計信息(包括比分、回合數(shù)、制勝分、發(fā)球速度、發(fā)球成功率、擊球類型、擊球數(shù)量)等多元數(shù)據(jù)內(nèi)容進行采集、分析和分發(fā)。球迷、球員和教練均可以通過賽事官方網(wǎng)站，或者手機客戶端了解比賽數(shù)據(jù)(如附圖所示)。
2012年，SlamTracker還推出了一項名為“Keys to the Match”的預(yù)測功能。通過對近八年來大滿貫賽事近萬場比賽、近4100萬個數(shù)據(jù)點進行了采集和分析，SlamTracker可以確定球員的制勝模式和風(fēng)格。在每場比賽開始前，“Keys to the Match”都會分析雙方球員的歷史交鋒數(shù)據(jù)，為球員制定出比賽致勝的關(guān)鍵指標(biāo)。比賽開始后，雙方球員的指標(biāo)會被實時量化，并且與之前制定的關(guān)鍵指標(biāo)進行對照，即時更新球員進展。
如今，SlamTracker早已成為四大滿貫賽事的一項常規(guī)數(shù)據(jù)服務(wù)。借助SlamTracker，您不再是一個普通的網(wǎng)球迷，而是一個擁有全面數(shù)據(jù)洞察視角的超級粉絲。即便未能親臨賽場觀戰(zhàn)，您依然可以收獲獨特而專業(yè)的觀賽體驗。而對球員和教練而言，SlamTracker數(shù)據(jù)分析服務(wù)能夠為其賽前針對性部署提供數(shù)據(jù)參考，也便于賽后分析勝負的原因。
社交輿情感知熱度
在移動互聯(lián)的時代，四大滿貫賽事已經(jīng)不再僅僅是運動的盛宴，同時也演變?yōu)槿蛐缘纳缃还?jié)日。2012年的溫網(wǎng)在社交媒體上火爆異常。比賽期間，從溫網(wǎng)官方網(wǎng)站到Twitter網(wǎng)站的流量較上年增加了2.05倍，而在男子決賽期間，每秒有超過100條與溫網(wǎng)有關(guān)的微博。而在2013年澳網(wǎng)比賽期間，僅包含#ausope標(biāo)簽的微博就超過了100萬條。這些社交輿情數(shù)據(jù)均由IBM Content Analytics系統(tǒng)監(jiān)測所得。
在2013年的溫網(wǎng)中，賽事組委會利用IBM Content Analytics等工具建立了一個全面的社交輿情視圖，來了解人們在Twitter和Facebook上都在談?wù)撃男┖蜏鼐W(wǎng)有關(guān)的話題。借助分析和自然語言處理技術(shù)，系統(tǒng)每秒可分析超過40條微博，并形成社交對話統(tǒng)一視圖。這樣一來，主辦方就可以實時了解全球溫網(wǎng)話題討論熱點，也可以對特定球員的社交影響力做出評估。
某種程度上說，數(shù)據(jù)分析正在改變網(wǎng)球賽事的組織和互動方式，并催生出新的商業(yè)價值。借助社交輿情的監(jiān)測與分析手段，賽事的主辦者可以從球迷的情感表達中洞悉其情緒走向，并將其用于賽事組織的改進。同時，通過社交媒體數(shù)據(jù)對公眾輿論的評估，可以幫助賽事贊助商更加全面、準(zhǔn)確地了解消費者的喜好、市場趨勢和品牌認知，從而展開精準(zhǔn)營銷，使客戶獲得個性化的消費體驗。
附圖 溫布爾頓網(wǎng)球公開賽IBM SlamTracker數(shù)據(jù)分析界面 #p#
大數(shù)據(jù)時代企業(yè)怎么贏?
如果你的企業(yè)希望投身大數(shù)據(jù)時代，現(xiàn)階段最大的挑戰(zhàn)是為海量業(yè)務(wù)數(shù)據(jù)找到商業(yè)用途。
在Gartner著名的技術(shù)成熟度曲線中，備受追捧的大數(shù)據(jù)技術(shù)或許還未攀上期望膨脹的頂峰。而在可以想見的未來，泡沫的幻滅或許會引發(fā)一連串的質(zhì)疑。但對于企業(yè)而言，最重要的是不在潮起潮落中迷失自己最初的需求和渴望。無論對技術(shù)的追捧與質(zhì)疑如何激烈，企業(yè)的領(lǐng)導(dǎo)者都需要明確業(yè)務(wù)對數(shù)據(jù)的真正需求，并且清晰地向IT部門進行表達，從而為多來源的海量業(yè)務(wù)數(shù)據(jù)找到真正的商業(yè)用途。
業(yè)務(wù)與IT合力價值發(fā)現(xiàn)
過去數(shù)年間，私人投資者和風(fēng)險投資機構(gòu)都將巨資投入到PB級別結(jié)構(gòu)化與非結(jié)構(gòu)化數(shù)據(jù)的采集、存儲、治理和分析等新興技術(shù)領(lǐng)域。新涌現(xiàn)出的工具讓企業(yè)從Web日志、點擊流、社交媒體、視頻和音頻文檔、機器傳感器和微博中提取數(shù)據(jù)變得前所未有的容易。在技術(shù)日臻完善的情況下，現(xiàn)階段企業(yè)利用大數(shù)據(jù)的最大難點在于，讓業(yè)務(wù)部門與IT部門相互合作，定義到底哪些非結(jié)構(gòu)化和半結(jié)構(gòu)化數(shù)據(jù)是對企業(yè)真正有價值的數(shù)據(jù)，以及如何對其有效地加以利用。
因此，真正的挑戰(zhàn)并不在于技術(shù)，而在于大數(shù)據(jù)商業(yè)價值的發(fā)現(xiàn)。這一艱巨的任務(wù)需要IT和業(yè)務(wù)部門合力完成?，F(xiàn)階段，很多企業(yè)尚未開始對非結(jié)構(gòu)化數(shù)據(jù)進行采集和整合，主要原因就是企業(yè)的業(yè)務(wù)管理者不能確認大數(shù)據(jù)是否能夠為企業(yè)帶來實際的商業(yè)價值，而并非是出于對創(chuàng)新技術(shù)的不信任。
互聯(lián)網(wǎng)行業(yè)具備天生的大數(shù)據(jù)應(yīng)用需求，并且擁有強壯的技術(shù)基因，這使得大數(shù)據(jù)技術(shù)的早期實踐者多誕生于此。而在金融、電信、制造、醫(yī)療等傳統(tǒng)行業(yè)，大數(shù)據(jù)技術(shù)也正在被重點關(guān)注，相關(guān)的需求梳理已經(jīng)展開，并且有部分企業(yè)進入了初級實踐階段。
以金融行業(yè)為例，金融行業(yè)解決方案供應(yīng)商北京先進數(shù)通信息技術(shù)有限公司研發(fā)部總經(jīng)理完獻忠就表示，國內(nèi)銀行目前的大數(shù)據(jù)應(yīng)用尚處在初級階段，主要集中在歷史數(shù)據(jù)管理、查詢和使用方面，面向業(yè)務(wù)的分析應(yīng)用項目則處于探索和驗證階段。他指出，隨著網(wǎng)上銀行和手機銀行的普及，并且向互聯(lián)網(wǎng)銀行的過渡，銀行業(yè)傳統(tǒng)上缺乏客戶行為數(shù)據(jù)的情況正在發(fā)生根本的轉(zhuǎn)變，銀行業(yè)具備了通過互聯(lián)網(wǎng)數(shù)據(jù)和機器數(shù)據(jù)開展有效客戶營銷的條件。
大數(shù)據(jù)打開大視野
從數(shù)據(jù)世界邁向大數(shù)據(jù)世界，技術(shù)的繼承與創(chuàng)新將會并存。當(dāng)Hadoop、MapReduce成為技術(shù)創(chuàng)新的明星，有人或許會問：“大數(shù)據(jù)會終結(jié)BI嗎?”的確，新一代的分布式數(shù)據(jù)處理技術(shù)為用戶帶來了新的洞察力，但它們目前仍不能完全解決傳統(tǒng)BI(商業(yè)智能)所能夠解決的問題。我們看到，傳統(tǒng)的BI工具仍被京東這樣的大型互聯(lián)網(wǎng)企業(yè)所使用，其成熟的展現(xiàn)層技術(shù)仍然能在滿足企業(yè)大數(shù)據(jù)分析需求時發(fā)揮作用。
PPTV聚力技術(shù)部總經(jīng)理金昀認為，大數(shù)據(jù)分析可以理解為BI在數(shù)據(jù)量大規(guī)模爆發(fā)后的演進成果。傳統(tǒng)的技術(shù)手段的確很難應(yīng)付數(shù)據(jù)量的爆炸式增長，但無論是“小數(shù)據(jù)”時代還是“大數(shù)據(jù)”時代，企業(yè)所面臨的數(shù)據(jù)管理問題都是相同的，即發(fā)掘數(shù)據(jù)之間的內(nèi)在聯(lián)系，催生新的商業(yè)價值。
“未來或許會有大數(shù)據(jù)時代的BI。BI的技術(shù)思維仍會存在，雖然數(shù)據(jù)的采集、存儲和分析方法全都改變了。與傳統(tǒng)BI相比，大數(shù)據(jù)時代的BI數(shù)據(jù)集成的范圍會更廣，像用戶行為數(shù)據(jù)、銷售數(shù)據(jù)、地理位置信息、團購信息、天氣信息等，都可以被集成到一起，通過新的分析與展現(xiàn)方法產(chǎn)生新的價值。它會帶來更廣、更深邃的洞察力。”金昀說。
企業(yè)用戶數(shù)據(jù)視野的拓展同樣有賴于IT與業(yè)務(wù)之間緊密協(xié)作。從想象力的激蕩，到構(gòu)想在現(xiàn)實環(huán)境的落地，注定是一段IT與業(yè)務(wù)攜手而行的旅程。
