51CTO 網(wǎng)+第八期線下公開課干貨分享:移動(dòng)時(shí)代的數(shù)據(jù)挖掘和行為分析
原創(chuàng)12月26日,逼走了圣誕老人的霧霾依然猖狂。然而,它卻阻擋不了百位移動(dòng)開發(fā)者參加51CTO 網(wǎng)+第八期線下公開課的熱情。
2015年,得移動(dòng)者得天下的態(tài)勢(shì)愈加明顯。對(duì)海量用戶數(shù)據(jù)實(shí)現(xiàn)有效的挖掘和行為分析,對(duì)實(shí)現(xiàn)移動(dòng)端業(yè)務(wù)的迅速增長(zhǎng)至關(guān)重要。作為今年的收官之作,本次51CTO 網(wǎng)+線下公開課邀請(qǐng)到TalkingData、微軟、友盟等專注于移動(dòng)領(lǐng)域數(shù)據(jù)挖掘和行為分析的三位一線專家,為大家全面解讀移動(dòng)方向的自定義模塊化功能的設(shè)計(jì)思路、數(shù)據(jù)挖掘清洗、用戶行為分析的關(guān)鍵。
首先進(jìn)行分享的是來自友盟的高級(jí)數(shù)據(jù)挖掘工程師王琪,與大家分享友盟在移動(dòng)端進(jìn)行多維度用戶數(shù)據(jù)分析的實(shí)踐經(jīng)驗(yàn)和思考。
友盟高級(jí)數(shù)據(jù)挖掘工程師 王琪
王琪講到,數(shù)據(jù)分析通過抽樣統(tǒng)計(jì)的方式實(shí)現(xiàn)。只有當(dāng)數(shù)據(jù)量足夠大時(shí),我們對(duì)用戶的刻畫才能更準(zhǔn)確,更全面。那我們應(yīng)該依靠哪些維度建立模型,才能從數(shù)據(jù)沙漠中找到綠洲呢?
用戶分析的幾個(gè)維度
用戶的唯一標(biāo)識(shí)
在許多現(xiàn)實(shí)問題下,移動(dòng)互聯(lián)網(wǎng)用戶唯一標(biāo)示的工作非常困難:
- 安卓山寨多,多種ROM,各種安卓系統(tǒng)的設(shè)備泛濫,同寨機(jī)共用IMEI,刷機(jī)ROM導(dǎo)致MAC一樣
- 蘋果系統(tǒng)封閉,可用的設(shè)備標(biāo)識(shí)一直在變
對(duì)此,王琪提出了改進(jìn)設(shè)備標(biāo)識(shí)的兩個(gè)思路:
性別預(yù)測(cè)
性別預(yù)測(cè)是最為常見的問題。用戶會(huì)在移動(dòng)端安裝各種和各樣的APP,我們?nèi)绾巫R(shí)別使用安裝了這些應(yīng)用的設(shè)備的用戶,是妹子還是猛男?
性別預(yù)測(cè)思考:
- 數(shù)據(jù)>算法,數(shù)據(jù)假設(shè);
- 數(shù)據(jù)預(yù)處理70%+模型,算法,評(píng)估30%;
- 生產(chǎn)工具的發(fā)展 =》生產(chǎn)力的提高
興趣識(shí)別
興趣的識(shí)別直接關(guān)系著廣告的精準(zhǔn)推送問題。王琪分享了友盟的興趣標(biāo)簽架構(gòu)、興趣標(biāo)簽場(chǎng)景,為大家提供借鑒和參考。
圖:用戶分析----興趣標(biāo)簽架構(gòu)
在建立興趣標(biāo)簽時(shí),王琪建議大家在這些層面上思考:
- 長(zhǎng)期興趣和短期興趣
- 標(biāo)簽體系的可擴(kuò)展性
- 標(biāo)簽效果的評(píng)估
低質(zhì)量用戶的識(shí)別(刷量分析)
快速且低成本實(shí)現(xiàn)用戶增長(zhǎng)的利益驅(qū)動(dòng)下,業(yè)界不斷有通過刷新增、刷活躍、刷留存來騙投資人、騙老板、騙廣告的黑色產(chǎn)業(yè)鏈存在。確實(shí),只要有利益,就會(huì)有作弊;但只要有作弊,就會(huì)有反作弊。
對(duì)于識(shí)別低質(zhì)量的用戶,友盟設(shè)計(jì)出設(shè)備評(píng)級(jí)的方案,對(duì)APP的渠道質(zhì)量進(jìn)行評(píng)估,對(duì)用戶設(shè)備進(jìn)行評(píng)級(jí)。
圖:低質(zhì)量用戶的識(shí)別----設(shè)備評(píng)級(jí)
第二位出場(chǎng)的是微軟(中國(guó))有限公司開發(fā)者體驗(yàn)和平臺(tái)合作事業(yè)部 高級(jí)技術(shù)平臺(tái)顧問梁健與大家分享在萬眾創(chuàng)新、萬物互聯(lián)的時(shí)代,微軟如何創(chuàng)新技術(shù)助力IoT發(fā)展。
微軟(中國(guó))有限公司開發(fā)者體驗(yàn)和平臺(tái)合作事業(yè)部 高級(jí)技術(shù)平臺(tái)顧問 梁健
如今,智能硬件、穿戴設(shè)備對(duì)于我們來說不再陌生。隨著物聯(lián)網(wǎng)技術(shù)的發(fā)展,生活中更多的不可能變成可能。梁健認(rèn)為,在未來5至10年,物聯(lián)網(wǎng)將會(huì)實(shí)現(xiàn)更加快速的發(fā)展。究竟什么是IoT?只是簡(jiǎn)單的終端設(shè)備聯(lián)網(wǎng)嗎?
為了讓大家更全面、清晰地認(rèn)識(shí)物聯(lián)網(wǎng),梁健分享了一張最普遍的參考架構(gòu)圖。
參考架構(gòu)
為了順應(yīng)移動(dòng)互聯(lián)網(wǎng)時(shí)代新的發(fā)展趨勢(shì),微軟以“移動(dòng)優(yōu)先,云優(yōu)先”作為戰(zhàn)略方向,打造業(yè)界***的平臺(tái)和生產(chǎn)力服務(wù),為企業(yè)提供從設(shè)備到云端的多種解決方案。
除了面向大眾消費(fèi)者的Win10家庭版和專業(yè)版以及面向企業(yè)的Windows10企業(yè)版之外,微軟還發(fā)布了面向物聯(lián)網(wǎng)領(lǐng)域的Win10 IoT正式版本.Windows 10 為具有到設(shè)備和云的企業(yè)級(jí)和本地連接的設(shè)備提供了一個(gè)通用的平臺(tái)來啟用物聯(lián)網(wǎng)。這樣一來,開發(fā)一個(gè)物聯(lián)網(wǎng)應(yīng)用就可以適配所有的設(shè)備,打破物聯(lián)網(wǎng)應(yīng)用開發(fā)的界限。
具體來說,Win10對(duì)物聯(lián)網(wǎng)應(yīng)用開發(fā)提供更好的支持體現(xiàn)在以下幾個(gè)方面:
***出場(chǎng)的是TalkingData***數(shù)據(jù)科學(xué)家張夏天,他為大家?guī)砹艘环N實(shí)現(xiàn)用戶增長(zhǎng)的新思想:Lookalike over Mobile.
TalkingData***數(shù)據(jù)科學(xué)家 張夏天
目前,用戶在使用移動(dòng)應(yīng)用時(shí)表現(xiàn)出非常重的頭部效應(yīng)。排名靠前的應(yīng)用覆蓋非常集中。這帶來的后果是,對(duì)同一類型的兩組用戶進(jìn)行行為差異分析和行為趨勢(shì)預(yù)測(cè)時(shí)非常困難,無法有效發(fā)現(xiàn)潛在用戶。
Lookalike是什么?張夏天解釋說,這是一種通過種子用戶尋找類似人群的技術(shù)。它通過提高人群定向的效率,尋找到潛在用戶,達(dá)到實(shí)現(xiàn)用戶增長(zhǎng)的目標(biāo)。它通過建立主樣本進(jìn)行機(jī)器學(xué)習(xí),建立預(yù)測(cè)性模型,建立對(duì)應(yīng)用的重新排序的過程,與目標(biāo)APP進(jìn)行用戶相似人群的匹配分析?;谠O(shè)備和應(yīng)用的Lookalike訓(xùn)練過程分別是:
目前,Lookalike面臨的主要挑戰(zhàn)包括
- Billion級(jí)別的訓(xùn)練數(shù)據(jù):
- Million級(jí)別的應(yīng)用
- 數(shù)據(jù)稀疏
- 樣本平衡
對(duì)此,TalkingData進(jìn)行了有針對(duì)性的優(yōu)化實(shí)踐:
通過TalkingData優(yōu)化過的Lookalike***特點(diǎn)是:只需要一次迭代。在并讀很大集群之上,做到十分鐘內(nèi)完成一次十億級(jí)別數(shù)據(jù)的機(jī)器學(xué)習(xí)訓(xùn)練,而且對(duì)樣本平衡的要求不敏感。
通過實(shí)例,張夏天向我們直觀地展示出通過Lookalike得出的人群特征APP對(duì)比,對(duì)同一類型的兩種應(yīng)用得出的應(yīng)用組合結(jié)果看出在一定程度上細(xì)分出某一人群類型的區(qū)域、性別、用戶黏度等特征。
在每位老師的演講結(jié)束后,在場(chǎng)同學(xué)都踴躍地與專家就演講內(nèi)容中的問題交流互動(dòng)。
活動(dòng)結(jié)束前,各位專家從現(xiàn)場(chǎng)抽出了多位幸運(yùn)同學(xué),獲得由51CTO提供的精美紀(jì)念品。
2015年,51CTO 網(wǎng)+線下公開課得到用戶大力的支持。未來一年,網(wǎng)+將繼續(xù)堅(jiān)持每月推出一期圍繞移動(dòng)開發(fā)者切實(shí)需求為主題的線下公開課,為廣大移動(dòng)開發(fā)者提供交流和學(xué)習(xí)的平臺(tái)。