“有序漏斗”算法難題 有望在易觀A10峰會獲得新突破
伴隨新零售、新金融、新娛樂等新業(yè)務類型的崛起,大數(shù)據(jù)的巨大能量滲透到互聯(lián)網(wǎng)生活的方方面面,以大數(shù)據(jù)為基石的移動應用正在改變世界。如何在技術(shù)層面實現(xiàn)“漏斗”升級,并充分釋放大數(shù)據(jù)的豐沛能量,是當前數(shù)據(jù)應用領域的重要議題。
進入互聯(lián)網(wǎng)下半場,移動應用的主戰(zhàn)場從增量用戶搶奪轉(zhuǎn)向存量用戶運營。提高用戶留存率和活躍度成為產(chǎn)品運營的核心。用戶使用某一移動應用時,通過路徑去實現(xiàn)目的。如用戶網(wǎng)購行為,可視為“瀏覽商品→加入購物車→生成訂單→支付訂單→完成支付”路徑。路徑中每一個節(jié)點都存在不同程度的用戶流失,層層遞減后整體形成漏斗形的模型。目前公認的計算關(guān)鍵路徑方法有兩種:無序漏斗和有序漏斗。
在無序漏斗中,前后事件的發(fā)生可任意排序,比如用戶在頁面間隨意切換和返回主頁操作,不受步驟間的邏輯順序約束。而有序漏斗的每個步驟之間有嚴格的順序限制,第二步的事件必須發(fā)生在***步之后。如支付過程中,需要先選擇購買之物,才能進入相應的付款操作。有序漏斗廣泛存在于購物支付、信息注冊等邏輯層級要求嚴格的路徑行為中。相較用戶路徑重合率極低的無序漏斗,有序漏斗的數(shù)據(jù)研究更有價值。
“漏斗”模型的計算核心是分解和量化。面對海量龐雜的用戶數(shù)據(jù), “有序漏斗”由于有邏輯上的約束條件,在計算過程中面臨的挑戰(zhàn)更為艱巨。批量處理海量數(shù)據(jù)的同時,難以保證實時處理復雜數(shù)據(jù)的效率。“漏斗”升級的技術(shù)難點落在計算速度上。
一些互聯(lián)網(wǎng)公司投身到大數(shù)據(jù)分析工具的研發(fā)當中,希望從技術(shù)層面實現(xiàn)“有序漏斗”計算效率的突破,然而鮮有關(guān)鍵性成果面世。究其原因,一是難以找到具有相當量級的數(shù)據(jù)作為測試對象,二是缺乏強有力的技術(shù)支撐。
針對“有序漏斗”計算效率的技術(shù)瓶頸,“2017易觀OLAP算法大賽”將對此進行聯(lián)合攻堅。作為已經(jīng)擁有易觀萬像和易觀千帆等成熟數(shù)據(jù)產(chǎn)品的行業(yè)***,易觀此次對大眾公開需求,向數(shù)據(jù)高手廣發(fā)英雄帖,招募算法高手共同突破“有序漏斗”的技術(shù)難題。
從主辦方獲悉,本次易觀OLAP算法大賽的參賽規(guī)則為:參賽者根據(jù)主辦方提供的應用轉(zhuǎn)化和OLAP場景,先利用測試數(shù)據(jù)集在指定測試集群上運行給出測試結(jié)果,最終用實際測試數(shù)據(jù)在測試集群上跑整體數(shù)據(jù)并給出用時排名。
在技術(shù)層面,大賽選拔使用的OLAP漏斗場景,要求滿足海量數(shù)據(jù)實時多維度有序分析模型。在數(shù)據(jù)處理上,可以通過數(shù)據(jù)切片和預處理,列存儲、壓縮及字典以及索引等的綜合使用,在細節(jié)方面可以結(jié)合一些巧妙的推理,減少計算量及復雜度,實現(xiàn)針對特定維度數(shù)據(jù)的精準觀察。還可以通過下鉆等操作,提高數(shù)據(jù)粒度細化程度,得到層次更豐富的數(shù)據(jù)細節(jié),讓數(shù)據(jù)分析做到有效率、有深度、有價值。
在數(shù)據(jù)層面,截止2017年第三季度,目前易觀每日處理數(shù)據(jù)261億條,累計覆蓋來自297個領域的21.9億個智能終端,監(jiān)測超過251萬款移動應用,數(shù)據(jù)存儲容量達5.8PB。本次大賽依托于易觀億級海量數(shù)據(jù)庫,使比賽成果更具可信度和現(xiàn)實指導意義。
本次大賽云計算服務由UCloud提供,目前大賽已正式進入競賽環(huán)節(jié),近40個團隊和個人將分別參加商業(yè)組和開源組的比賽。商業(yè)組吸引了包括咪咕音樂、北京樂見科技、南京帆軟軟件、杭州玳數(shù)科技、北京潤乾信息、Kyligence、AggreData、Gbase等企業(yè)的技術(shù)強隊。開源組有來自小米、美團、熱云數(shù)據(jù)、原速數(shù)據(jù)、LinkDoc、hulu、樂享天下、牛辦科技、上海睿民以及北京交通大學的數(shù)據(jù)高手參加。
10月27日,易觀A10大數(shù)據(jù)應用峰會將在北京盛大開幕,屆時,將決出本次OLAP算法大賽的優(yōu)勝隊伍,大賽的優(yōu)秀案例還將在峰會展示。***數(shù)據(jù)大咖指導,國內(nèi)高手聯(lián)合攻堅,“有序漏斗”計算效率難題或?qū)⒂瓉碇卮笸黄啤?o:p>