?在如今降本提效的大背景下，用戶畫像資產(chǎn)在人維度數(shù)據(jù)上占據(jù)大頭資源，歷史遺留問(wèn)題也不少，數(shù)據(jù)治理迫在眉睫。本文將從項(xiàng)目背景、項(xiàng)目挑戰(zhàn)、項(xiàng)目方案、項(xiàng)目成果四個(gè)方面進(jìn)行分享闡述，希望分享能幫助到大家。

1.項(xiàng)目背景

著重說(shuō)明下業(yè)務(wù)和技術(shù)背景。首先是業(yè)務(wù)背景，云音樂(lè)現(xiàn)階段用戶增長(zhǎng)瓶頸總量幾十億用戶，日活幾千萬(wàn)左右，月活幾億，想要再增長(zhǎng)用戶成本極高，精細(xì)化運(yùn)營(yíng)已經(jīng)是破圈的必須手段。面對(duì)現(xiàn)在不同的用戶人群，具備不同的商業(yè)化潛質(zhì)，需要對(duì)不同人進(jìn)行商業(yè)化分層，才能更好的幫助用戶精細(xì)化運(yùn)行。除了主站業(yè)務(wù)的拓展，子業(yè)務(wù)擴(kuò)展也是迫在眉睫，用戶畫像可以幫助子業(yè)務(wù)從主站業(yè)務(wù)挖掘和擴(kuò)展需要的用戶群體，幫助做業(yè)務(wù)擴(kuò)展，擴(kuò)單云音樂(lè)整體營(yíng)收能力。

再說(shuō)技術(shù)背景，主要也分3塊內(nèi)容，歷史用戶畫像建設(shè)標(biāo)簽重復(fù)建設(shè)，多達(dá)32張相關(guān)畫像表存在，部分依賴層級(jí)多，且標(biāo)簽重復(fù)建設(shè)。圈選產(chǎn)品不統(tǒng)一，存在多套產(chǎn)品，比如muse、諾倫、sniper等，產(chǎn)品側(cè)需要做一定的重組。圈選產(chǎn)品的響應(yīng)速度，也是整個(gè)產(chǎn)品獲得用戶依賴的核心指標(biāo)，通過(guò)一定的技術(shù)改造實(shí)現(xiàn)從sql圈選到ms級(jí)圈選能力是很有必要的。

綜上，可以概括為云音樂(lè)用戶畫像資產(chǎn)，存在鏈路強(qiáng)耦合，計(jì)存高成本，口徑不統(tǒng)一，產(chǎn)品性能又不足的現(xiàn)狀問(wèn)題。  

2.項(xiàng)目挑戰(zhàn)

數(shù)據(jù)側(cè)難點(diǎn)：數(shù)量大，鏈路長(zhǎng)，時(shí)效低，口徑多。數(shù)量大體現(xiàn)在用戶畫像涉及上千指標(biāo)，需要對(duì)這些指標(biāo)做統(tǒng)一的管理，確保指標(biāo)及其對(duì)應(yīng)表的高內(nèi)聚底耦合，任務(wù)鏈路存在很多7-8層的任務(wù)層級(jí)，層級(jí)越多，任務(wù)的穩(wěn)定性越差，需要對(duì)任務(wù)鏈路進(jìn)行壓縮；實(shí)效性方面，現(xiàn)階段任務(wù)的時(shí)效性不高，每天產(chǎn)出的時(shí)間是10點(diǎn)左右，遠(yuǎn)沒(méi)有達(dá)到用戶需要的6點(diǎn)時(shí)效性要求，需要進(jìn)行產(chǎn)出時(shí)間的壓縮；關(guān)于任務(wù)的一致性，需要進(jìn)行，則是如此之多的畫像指標(biāo)，如何做到指標(biāo)的一致性是具有很大挑戰(zhàn)的。

3.項(xiàng)目方案

3.1 方案框架

針對(duì)以上內(nèi)容，這些臟亂差數(shù)據(jù)應(yīng)該如何治理是值得我們花時(shí)間去做的事情。本項(xiàng)目結(jié)合實(shí)際可實(shí)現(xiàn)的內(nèi)容，整理并完善整個(gè)項(xiàng)目方案，以治理降本和產(chǎn)品提效為兩大主線為解決方案，如下圖：

從圖中可以看出，整個(gè)項(xiàng)目分為五層。底層為畫像底表層，包括流量數(shù)據(jù)、用戶中臺(tái)數(shù)據(jù)、內(nèi)容數(shù)據(jù)、會(huì)員數(shù)據(jù)、社區(qū)數(shù)據(jù)等數(shù)倉(cāng)公共層數(shù)據(jù)；上層為畫像邏輯層，通過(guò)對(duì)底層數(shù)據(jù)進(jìn)行實(shí)體關(guān)系建模，抽象成用戶基礎(chǔ)畫像、用戶行為畫像、用戶統(tǒng)計(jì)挖掘幾大塊內(nèi)容。

用戶畫像的邏輯層建模就是為了實(shí)現(xiàn)整個(gè)畫像層，可以實(shí)現(xiàn)數(shù)據(jù)的一致性標(biāo)準(zhǔn)，確保數(shù)是高內(nèi)聚低耦合的，同時(shí)也確保了整體的可擴(kuò)展性，比如新增游戲業(yè)務(wù)的話，那就在行為畫像中添加游戲?qū)嶓w，可以實(shí)現(xiàn)整個(gè)邏輯層的可擴(kuò)展而不需要重構(gòu)整個(gè)內(nèi)容。

畫像的應(yīng)用層，測(cè)試整個(gè)畫像的輸出部分，包括畫像核心全量表，以及各類畫像的切片畫像，如會(huì)員畫像、日活畫像、月活畫像等等。

畫像產(chǎn)品層是基于畫像數(shù)據(jù)進(jìn)行的畫像產(chǎn)品，包括魔鏡圈選產(chǎn)品，實(shí)現(xiàn)標(biāo)簽管理的標(biāo)簽工廠，實(shí)現(xiàn)標(biāo)簽服務(wù)化的標(biāo)簽服務(wù)能力等等。

在畫像邏輯層和畫像應(yīng)用層涉及整個(gè)畫像的治理工作，包括畫像的產(chǎn)出保障以及任務(wù)下線。

再向上則是最終服務(wù)業(yè)務(wù)的業(yè)務(wù)產(chǎn)品，魔鏡通過(guò)打通和業(yè)務(wù)產(chǎn)品的能力，比如打通靈渠，可以實(shí)現(xiàn)從用戶人群圈選到用戶push的打通構(gòu)建。還有天秤、音樂(lè)人運(yùn)營(yíng)等產(chǎn)品。

3.2 標(biāo)簽建設(shè)

用戶畫像標(biāo)簽建設(shè)以需求觸發(fā)為出發(fā)點(diǎn)，需求調(diào)研case如下左表。需求來(lái)源包括各線分析師、魔鏡、標(biāo)簽工廠產(chǎn)品、運(yùn)營(yíng)同學(xué)等。通過(guò)結(jié)合數(shù)倉(cāng)分層和ER實(shí)體關(guān)系建模的方法、依托業(yè)務(wù)訴求，設(shè)計(jì)畫像邏輯層。實(shí)現(xiàn)數(shù)據(jù)的高內(nèi)聚低耦合，從而確保了良好的可擴(kuò)展性。

比如歌單、歌曲、直播、mv都是實(shí)體對(duì)象，通過(guò)與用戶的二元叉乘得到相關(guān)數(shù)據(jù)指標(biāo)，后續(xù)業(yè)務(wù)擴(kuò)展游戲等，也可直接實(shí)現(xiàn)用戶叉乘游戲，實(shí)現(xiàn)橫向?qū)嶓w擴(kuò)展。確保實(shí)體內(nèi)數(shù)據(jù)高內(nèi)聚，實(shí)體間數(shù)據(jù)低耦合。

3.3 保障體系

保障體系重點(diǎn)在于數(shù)據(jù)質(zhì)量的監(jiān)控保障，以數(shù)據(jù)穩(wěn)定性、一致性、及時(shí)性、唯一性、完整性、準(zhǔn)確性為核心保障內(nèi)容，詳細(xì)工具和方式見(jiàn)下圖所示：  

3.4 任務(wù)下線

任務(wù)下線機(jī)制則主要以定策略，用工具為主要手段，逐步推動(dòng)下線。 

3.5 魔鏡產(chǎn)品

用戶畫像下游接入魔鏡產(chǎn)品，實(shí)現(xiàn)用戶畫像表服務(wù)各類業(yè)務(wù)的圈選功能，下游鏈接各類產(chǎn)品投放產(chǎn)品，實(shí)現(xiàn)畫像數(shù)據(jù)的業(yè)務(wù)賦能。

4.項(xiàng)目成果

項(xiàng)目成果從產(chǎn)品價(jià)值、治理價(jià)值、業(yè)務(wù)價(jià)值三大塊說(shuō)明。

4.1 產(chǎn)品價(jià)值

統(tǒng)一數(shù)據(jù)服務(wù)基于畫像數(shù)據(jù)及標(biāo)簽元數(shù)據(jù)提供高效的標(biāo)簽服務(wù)、圈選服務(wù)，基本覆蓋了云音樂(lè)全部業(yè)務(wù)圈選服務(wù)，應(yīng)用于用戶運(yùn)營(yíng)、線上活動(dòng)、AB實(shí)驗(yàn)、廣告投放等多個(gè)產(chǎn)品及場(chǎng)景。統(tǒng)一數(shù)據(jù)開(kāi)放接口的提供為用戶運(yùn)營(yíng)、線上活動(dòng)、AB實(shí)驗(yàn)、廣告投放全業(yè)務(wù)線提供服務(wù)，做到一次開(kāi)發(fā)多產(chǎn)品使用，減少人力開(kāi)發(fā)成本。  

產(chǎn)品總計(jì)實(shí)現(xiàn)1900多次人群包圈選，百億次圈選，500萬(wàn)次多的push服務(wù)，覆蓋音樂(lè)幾十億用戶和上百+標(biāo)簽。

4.2 治理價(jià)值

總體預(yù)計(jì)下線32張表，上千多標(biāo)簽治理，預(yù)計(jì)節(jié)約存儲(chǔ)成本近150萬(wàn)，年節(jié)省計(jì)算成本近200萬(wàn)，預(yù)計(jì)年度總節(jié)省300多萬(wàn)元。

 4.3 業(yè)務(wù)價(jià)值

除了產(chǎn)品鏈路打通后大大節(jié)省了push時(shí)效外，還有子業(yè)務(wù)的畫像服務(wù)場(chǎng)景，也大大體現(xiàn)了業(yè)務(wù)價(jià)值。比如某子業(yè)務(wù)使用主站用戶標(biāo)簽數(shù)據(jù)，每日實(shí)現(xiàn)拉新幾千用戶，年可節(jié)省千萬(wàn)左右成本。?