現(xiàn)在，沒有人會質疑移動互聯(lián)網(wǎng)在人們生活中的重要性，“一切都是數(shù)據(jù)”也將成為其必然的趨勢。經(jīng)過了幾年的發(fā)展積累，大數(shù)據(jù)的三個特質越來越明顯：量大、多樣、實時。未來要做的，就是利用數(shù)據(jù)加速PC網(wǎng)絡到移動互聯(lián)網(wǎng)的更迭過程，使移動互聯(lián)網(wǎng)成為人們獲得更為便利、高效服務的途徑。

對于移動應用來說，更多的是在于如何通過數(shù)據(jù)挖掘改善產(chǎn)品體驗、差異化競爭、產(chǎn)生商業(yè)價值，達到改善用戶體驗，增強用戶黏性的效果。

5月28日，近百位移動開發(fā)者再次相聚于【51CTO 網(wǎng)+】線下公開課現(xiàn)場，與火線數(shù)據(jù)創(chuàng)始人兼CEO，前小米數(shù)據(jù)工場負責人盧學裕、神策數(shù)據(jù)CTO曹犟、AdMaster資深架構師劉喆三位移動領域數(shù)據(jù)分析大牛一起，聚焦如何用數(shù)據(jù)驅動用戶體驗，大話數(shù)據(jù)之美。

火線數(shù)據(jù)CEO盧學裕：用推薦技術做個性化運營

首先演講的盧學裕曾擔任過優(yōu)酷土豆大數(shù)據(jù)團隊技術總監(jiān)，打造了優(yōu)酷土豆的大數(shù)據(jù)開放平臺、數(shù)據(jù)分析、數(shù)據(jù)挖掘、推薦系統(tǒng)等。結合優(yōu)酷土豆大數(shù)據(jù)平臺研發(fā)過程中的經(jīng)驗，盧學裕談到用戶的行為數(shù)據(jù)都是有價值的，不同的行為有不同的作用。

關聯(lián)規(guī)則算法是最為常用，且能發(fā)揮很大價值的一種算法，它的邏輯是從數(shù)據(jù)背后發(fā)現(xiàn)事物之間可能存在的關聯(lián)或者聯(lián)系。作為數(shù)據(jù)挖掘的主要方法，關聯(lián)規(guī)則算法的分析與優(yōu)化一直備受關注。

關聯(lián)規(guī)則通過形如X→Y的蘊涵式，找到兩件看似風馬牛不相及的事情之間的依賴關系。最經(jīng)典的一個例子是“啤酒和尿布”。它的劣勢可能是對長尾關鍵詞的覆蓋率較差。盧學裕闡述了一些經(jīng)典關聯(lián)規(guī)則可能帶來的誤區(qū)，比如森林法則。具體來說，越熱的視頻越容易與人產(chǎn)生關聯(lián)。但他們發(fā)現(xiàn)對熱度視頻進行推薦的效果并不好，因為他們嘗試了一種“打壓熱度”的做法，對“熱度”開三次方，做變型，反而使推薦效果得到提升。這其中的原因之一就是由于熱視頻的森林法則，在短時間內(nèi)會有大量的用戶通過不同途徑分享，微博、朋友圈等等，很多用戶已經(jīng)看過了，所以再推薦就不會得到很好的效果。

神策數(shù)據(jù)CTO曹犟：數(shù)據(jù)分析平臺的搭建與應用

接下來，作為“百度系”創(chuàng)業(yè)團隊的CTO，曹犟向在座同學們分享了在他看來，一個合格的數(shù)據(jù)分析平臺應該具備哪些特征，以及現(xiàn)有解決方案的一些局限。

對于現(xiàn)在的很多企業(yè)來說，通常認為有了儀表盤，就等于有了數(shù)據(jù)分析平臺；多個業(yè)務部門人員排著隊等某個工程師跑數(shù)據(jù)的畫面屢見不鮮。的確，現(xiàn)在優(yōu)秀的數(shù)據(jù)分析人才非常缺乏，企業(yè)只能強迫IT工程師來完成一些數(shù)據(jù)分析的工作，這樣的一種“強迫”行為，不僅數(shù)據(jù)分析來的深度和精度遠遠不夠，也對工程師個人的職業(yè)生涯發(fā)展非常不利。

所以，讓參與業(yè)務的人員真正掌握數(shù)據(jù)，才是數(shù)據(jù)分析的王道。那么一個合格的數(shù)據(jù)分析平臺應該實現(xiàn)哪些功能呢？

1. 靈活適應公司與產(chǎn)品的快速發(fā)展
2. 為處理海量數(shù)據(jù)提供易于擴展的技術方案
3. 將繁雜數(shù)據(jù)整合為強大而簡潔的模型
4. 讓每個業(yè)務參與者能夠提出問題，回答問題，用數(shù)據(jù)驅動決策

曹犟認為，數(shù)據(jù)分析的方法主要是首先是定義關鍵指標，通過數(shù)據(jù)發(fā)現(xiàn)問題、驗證方案，最終借助數(shù)據(jù)指導大方向決策。BI只是數(shù)據(jù)頻用的一部分，數(shù)據(jù)分析最主要的作用還是將分析結果直接反饋到產(chǎn)品中，通過對用戶推送、個性化推薦、反作弊、精準投放等環(huán)節(jié)的優(yōu)化，提升用戶對產(chǎn)品的體驗。

Admaster架構師劉喆：大數(shù)據(jù)如何改變互聯(lián)網(wǎng)監(jiān)測行業(yè)

***一位進行分享的是來自Admaster的架構師劉喆。他談到，說起大數(shù)據(jù)，就不得不提到Google的三駕馬車，也就是Google在2003年至2004年公布的關于GFS、MapReduce和BigTable三篇技術論文。

這三駕馬車直接將開源大數(shù)據(jù)平臺Hadoop推向火爆。開源大數(shù)據(jù)系統(tǒng)的主要組成部分為：

• 超級存儲
  • HDFS/HBase
• 超級計算模型
  
  • 批處理 MapReduce/Pig/Hive/Spark/Flink
  • 流式處理/實時計算 storm/jStrom/Heron/Spark/Flink (java -> scala)
  • 多維查詢/即席分析 ES/Druid/pinot
• 超級KV系統(tǒng) 
  • Tair/redis/aerospike
• 解耦/合作
  
  • RabbitMQ/Kafka/RocketMQ

對于開源的大數(shù)據(jù)技術來說，縱然有很多非常強大的功能和特性，但世上本來就沒有***的技術。為了更好地利用這些大數(shù)據(jù)技術優(yōu)化和改進互聯(lián)網(wǎng)監(jiān)測，還需要進行很多改進和規(guī)劃，要考慮的方面可能包括一些周邊系統(tǒng)、不同格式的數(shù)據(jù)交換等等。

各位專家都不約而同提到，數(shù)據(jù)分析不應該僅僅作為一個短期的項目。作為一個系統(tǒng)性的工程，初期看不到明顯的效果再正常不過，它需要經(jīng)歷不斷的優(yōu)化和改進。因此，在構建數(shù)據(jù)平臺之初，就要將技術能力、人力投入、資金和設備支持等環(huán)節(jié)，納入長期的歸劃當中。

【51CTO 網(wǎng)＋】線下公開課每月一期，已連續(xù)舉辦十二期，得到來自用戶的支持和喜愛。我們將繼續(xù)圍繞移動開發(fā)者切實需求切入，為廣大移動開發(fā)者提供交流和學習的平臺。