背景

每平每屋是阿里巴巴旗下家居家裝平臺(tái)，涵蓋淘寶每平每屋家居頻道、每平每屋設(shè)計(jì)家、每平每屋App、每平每屋制造業(yè)等家居全鏈路服務(wù)，為消費(fèi)者提供了2D短圖文、長(zhǎng)圖文、3D樣板間、3D短視頻、VR全屋漫游等豐富多元的家居內(nèi)容，逐漸成為當(dāng)代年輕人生活靈感與家居裝修的向?qū)е弧?/p>

淘寶內(nèi)的每平每屋頻道是每平每屋業(yè)務(wù)獲取C端流量并進(jìn)行內(nèi)容分發(fā)從而建立用戶家居、生活方式心智場(chǎng)的主要陣地。在每平每屋頻道中，內(nèi)容主要以場(chǎng)景搭配為主，內(nèi)容內(nèi)掛載了多個(gè)商品錨點(diǎn)，點(diǎn)擊商品錨點(diǎn)可以跳轉(zhuǎn)到商品的詳情頁(yè)完成進(jìn)一步收藏、購(gòu)買等行為。

隨著業(yè)務(wù)的快速發(fā)展，供給的內(nèi)容類型 和 體裁逐漸豐富 ， 內(nèi)容量級(jí)也全面增加，而現(xiàn)有的個(gè)性化分發(fā)策略難以充分滿足內(nèi)容創(chuàng)作者和內(nèi)容消費(fèi)者的訴求。具體地，對(duì)于內(nèi)容消費(fèi)者而言，希望在平臺(tái)上獲取到優(yōu)質(zhì)、實(shí)用的內(nèi)容。對(duì)于內(nèi)容創(chuàng)作者來(lái)說(shuō)，則希望自己發(fā)布的內(nèi)容被更多的人看到和認(rèn)可。

以效率至上的個(gè)性化分發(fā)算法雖然能夠滿足用戶的短期訴求，但長(zhǎng)期來(lái)看會(huì)導(dǎo)致平臺(tái)流量被頭部高熱內(nèi)容占據(jù)，長(zhǎng)尾內(nèi)容無(wú)法得到有效曝光，從而導(dǎo)致部分創(chuàng)作者的內(nèi)容無(wú)法及時(shí)獲得有效的反饋，生產(chǎn)積極性會(huì)大大降低，甚至從平臺(tái)流失。綜上，除了從算法分發(fā)的視角來(lái)優(yōu)化平臺(tái)的流量分配策略外，還需要我們從內(nèi)容生態(tài)的角度來(lái)考慮如何激勵(lì)創(chuàng)作者生產(chǎn)更多優(yōu)質(zhì)內(nèi)容并保證這些內(nèi)容能夠被消費(fèi)者看到。

在推薦主鏈路的召回 、排序和機(jī)制策略中，我們引入了若干算法策略來(lái)提升推薦內(nèi)容的多樣性降低系統(tǒng)的馬太效應(yīng)，但這部分優(yōu)化主要是在存量?jī)?nèi)容上生效，對(duì)于新發(fā)布的內(nèi)容則依賴于冷啟動(dòng)系統(tǒng)的加速。每平每屋的冷啟動(dòng)鏈路先后經(jīng)歷了從 基于湯普森采樣的 定坑展現(xiàn)到基于Visual EE的動(dòng)態(tài)混排策略迭代。但是，隨著內(nèi)容供給速度的提升，有限的冷啟動(dòng)流量難以滿足新發(fā)內(nèi)容的快速透出和潛在優(yōu)質(zhì)內(nèi)容的快速成長(zhǎng)訴求。本文將介紹我們?cè)诶鋯?dòng)系統(tǒng)采用兩階段多級(jí)流量放大策略和內(nèi)容潛力預(yù)估模型的實(shí)踐經(jīng)驗(yàn)。

冷啟動(dòng)系統(tǒng)優(yōu)化

我們將新內(nèi)容的冷啟動(dòng)分為了兩個(gè)階段：

1. 均勻保量
2. 助推放大

均勻保量階段的目標(biāo)為縮短新內(nèi)容首曝時(shí)間并確保能夠公平地獲取曝光機(jī)會(huì)。而助推放大階段的目標(biāo)是幫助內(nèi)容快速成長(zhǎng)，符合條件的新內(nèi)容從當(dāng)天分配的固定流量池互相競(jìng)爭(zhēng)獲取流量，潛在的優(yōu)質(zhì)內(nèi)容將會(huì)在這個(gè)階段快速獲取到一定的曝光數(shù)量，加快其成長(zhǎng)速度。

由于新內(nèi)容缺少線上的反饋數(shù)據(jù)，直接復(fù)用主鏈路的召回排序算法會(huì)導(dǎo)致對(duì)新內(nèi)容的預(yù)估結(jié)果偏差較大，所以我們?yōu)槔鋯?dòng)鏈路設(shè)計(jì)了一套獨(dú)立的召回排序鏈路。為了在缺少反饋數(shù)據(jù)的條件下盡可能將潛在優(yōu)質(zhì)內(nèi)容排序靠前，我們還設(shè)計(jì)了一個(gè)內(nèi)容潛力預(yù)估模型，并將該模型的預(yù)測(cè)分用在召回和排序算法中。冷啟動(dòng)鏈路的推薦結(jié)果會(huì)結(jié)合主鏈路結(jié)果和調(diào)控分?jǐn)?shù)進(jìn)行生成式重排，最終確定冷啟動(dòng)內(nèi)容是否在當(dāng)次請(qǐng)求中展示以及展示在第幾個(gè)坑位。

均勻保量

均勻保量是解決創(chuàng)作者流量確定性的第一個(gè)環(huán)節(jié)。在我們的系統(tǒng)中，最近7日內(nèi)新發(fā)布并且曝光pv < x的內(nèi)容會(huì)進(jìn)入到均勻保量投放的階段，當(dāng)內(nèi)容投放達(dá)到曝光pv上限后則會(huì)退出該階段，該階段會(huì)確保每條新內(nèi)容都能獲得一定的初始曝光，收集到的反饋數(shù)據(jù)有助于新內(nèi)容在主鏈路中的透出。

為了防止一些創(chuàng)作者通過(guò)批量生產(chǎn)內(nèi)容來(lái)獲取系統(tǒng)流量，我們根據(jù)創(chuàng)作者歷史生產(chǎn)內(nèi)容的線上表現(xiàn)計(jì)算出了創(chuàng)作流量效率指數(shù)，根據(jù)該指數(shù)約束每個(gè)創(chuàng)作者每天在均勻保量階段可以獲得的流量上限 m，當(dāng)作者創(chuàng)作的新內(nèi)容在當(dāng)天累計(jì)獲得的曝光pv > m時(shí)則不再對(duì)內(nèi)容進(jìn)行保量投放。

助推放大

均勻保量策略有效緩解了新內(nèi)容首曝周期長(zhǎng)和難以獲得初始流量的問(wèn)題，但該鏈路沒(méi)有充分考慮到給予潛在優(yōu)質(zhì)內(nèi)容更多的流量，加速其成長(zhǎng)為熱門內(nèi)容。我們?yōu)樾聝?nèi)容引入助推成長(zhǎng)的環(huán)節(jié)，根據(jù)內(nèi)容在線上投放的實(shí)時(shí)表現(xiàn)動(dòng)態(tài)調(diào)整扶持流量，隨著效果的提高逐步放大流量，給予優(yōu)質(zhì)內(nèi)容獲取更多流量。

助推放大鏈路會(huì)對(duì)已經(jīng)獲得過(guò)一部分曝光并且點(diǎn)擊率大于指定閾值min_ctr的內(nèi)容執(zhí)行分級(jí)的流量放大策略，在該策略中內(nèi)容的扶持流量上限會(huì)隨著內(nèi)容實(shí)時(shí)的點(diǎn)擊率動(dòng)態(tài)的調(diào)整。我們根據(jù)大盤的內(nèi)容效果和可用于扶持的流量比例劃分了k個(gè)助推等級(jí)，根據(jù)實(shí)時(shí)計(jì)算的后驗(yàn)點(diǎn)擊率確定內(nèi)容所屬的助推級(jí)別，當(dāng)內(nèi)容在助推鏈路中的曝光pv > 上限n后內(nèi)容則會(huì)從助推鏈路中退出。

業(yè)務(wù)效果

• 流量新鮮度

1. 近N天發(fā)布內(nèi)容pvr：每日曝光內(nèi)容中發(fā)布時(shí)間在N天內(nèi)的內(nèi)容獲取總流量占比(該指標(biāo)越高表明新鮮度越高)
2. 按pv加權(quán)發(fā)布天數(shù)：每日曝光內(nèi)容中按內(nèi)容曝光pv加權(quán)計(jì)算得到的內(nèi)容發(fā)布天數(shù)(該指標(biāo)越低表明新鮮度越高)

我們?cè)?1年5月底啟動(dòng)了冷啟系統(tǒng)優(yōu)化的項(xiàng)目，新系統(tǒng)逐步放量，從時(shí)間周期來(lái)看，自線上運(yùn)行以來(lái)， 近 N天發(fā)布內(nèi)容pvr 呈現(xiàn)逐步提高的趨勢(shì)，而 pv加權(quán)發(fā)布天數(shù) 呈現(xiàn)逐漸下降趨勢(shì)，表明新系統(tǒng)對(duì)于提高整體推薦系統(tǒng)的流量新鮮度具有正向促進(jìn)作用，近7天發(fā)布內(nèi)容pvr +15.8% ，近14天發(fā)布內(nèi)容pvr +73.3% ，近30天發(fā)布內(nèi)容pvr +17.1% 。

• 流量扶持效率

助推放大階段引入了分級(jí)流量放大機(jī)制，將用于冷啟扶持的流量更多傾斜到潛在優(yōu)質(zhì)內(nèi)容，加速優(yōu)質(zhì)內(nèi)容成長(zhǎng)。我們采用近7天冷啟鏈路曝光的內(nèi)容在最近1天常規(guī)鏈路分發(fā)下的pctr衡量扶持效率。具體公式定義為：

其中  為內(nèi)容在冷啟鏈路獲取的曝光PV， 為內(nèi)容在常規(guī)鏈路中統(tǒng)計(jì)得到的CTR?？紤]到CTR的計(jì)算依賴曝光量，使用表示僅統(tǒng)計(jì)在常規(guī)鏈路下獲得>100次曝光的內(nèi)容，efficiency +30% , efficiency_limit +39.9%。

內(nèi)容潛力預(yù)估模型

模型設(shè)計(jì)

我們?cè)O(shè)計(jì)內(nèi)容潛力預(yù)估模型來(lái)預(yù)測(cè)新發(fā)布的內(nèi)容在未來(lái)成長(zhǎng)為熱門內(nèi)容的概率。模型以內(nèi)容是否能成為熱門為目標(biāo)，將在發(fā)布7天內(nèi)迅速獲得高曝光高點(diǎn)擊的內(nèi)容為正樣本，其余為負(fù)樣本。通過(guò)模型訓(xùn)練，捕獲內(nèi)容成長(zhǎng)為熱門的特征，從而挖掘出有潛力的內(nèi)容。

• 特征工程

在特征選擇上，主要分為2類：內(nèi)容屬性特征和內(nèi)容封面圖特征。其中，內(nèi)容屬性特征包括：內(nèi)容所屬的風(fēng)格、空間，掛載商品的id、類目、店鋪、組合價(jià)格等。通過(guò)一個(gè)預(yù)訓(xùn)練的模型提取對(duì)應(yīng)的封面圖圖像embedding特征。值得注意的是，我們有意識(shí)地避開點(diǎn)擊率等基于用戶交互行為的統(tǒng)計(jì)特征，以期更專注于內(nèi)容本身進(jìn)行潛力預(yù)估。

• 樣本構(gòu)造

在樣本構(gòu)造上，我們采取兩種方案：

方案一：設(shè)定曝光PV和點(diǎn)擊率閾值，高于閾值的為正樣本，否則為負(fù)樣本；

方案二：首先，根據(jù)內(nèi)容曝光PV對(duì)點(diǎn)擊率進(jìn)行校正。其次，將空間x風(fēng)格維度下，內(nèi)容發(fā)布7天后累計(jì)點(diǎn)擊率高于維度內(nèi)平均點(diǎn)擊率的內(nèi)容為正樣本，其余為負(fù)樣本。

方案一在正樣本的選擇上更為嚴(yán)格，能夠確保是熱門的內(nèi)容。方案二考慮了不同空間和風(fēng)格內(nèi)容下內(nèi)容點(diǎn)擊率的差異，但是可能會(huì)將維度內(nèi)熱門但全局非熱門內(nèi)容的設(shè)置為正樣本。

• 模型結(jié)構(gòu)

在Wide & Deep模型基礎(chǔ)之上設(shè)計(jì)潛力預(yù)估模型，具體改動(dòng)有兩處：

1. 內(nèi)容封面圖向量與Sparse feature的embedding進(jìn)行concat，共同作為deep側(cè)輸入；
2. 訓(xùn)練時(shí)，根據(jù)曝光PV的大小，給樣本賦值不同的置信度，PV值越大，樣本越置信。

離線評(píng)估

下表展示了基于上述兩種方案訓(xùn)練的模型進(jìn)行潛力預(yù)估，P(is_hot)位于top10%的內(nèi)容在發(fā)布7天后在冷啟結(jié)束后的自然推薦獲得曝光PV的分布。

第一行的0-5是內(nèi)容曝光PV的范圍劃定：數(shù)值越大，對(duì)應(yīng)的曝光PV越高。從占比上看，方案二在潛力內(nèi)容挖掘上準(zhǔn)確性更高。

業(yè)務(wù)效果

潛力預(yù)估分主要被應(yīng)用于干預(yù)線上冷啟鏈路內(nèi)容的召回和排序算法。期望對(duì)于P(is_hot)高的內(nèi)容，給予更高的冷啟PV；同時(shí)，對(duì)于P(is_hot)低的內(nèi)容，減少其冷啟PV，以節(jié)省一部分冷啟流量。在具體實(shí)現(xiàn)上，我們分別將潛力預(yù)估分作為冷啟鏈路排序模型的一個(gè)特征和召回鏈路的截?cái)喾帧?/p>

• 作為排序模型特征

我們統(tǒng)計(jì)了線上完整7天的AB實(shí)驗(yàn)結(jié)果。

另外，我們統(tǒng)計(jì)了線上冷啟鏈路完整AB7天的效果。

相比較于冷啟扶持baseline，將基于方案一輸出的內(nèi)容潛力預(yù)估分作為冷啟鏈路粗排模型的特征，整體收益為正，二跳相關(guān)指標(biāo)提升顯著。而方案二整體收益為負(fù)，可能是將維度內(nèi)熱門但全局非熱門內(nèi)容的設(shè)置為正樣本帶來(lái)了負(fù)向影響。

• 作為召回截?cái)喾?/strong>

進(jìn)一步地，我們將方案一的潛力預(yù)估分作為冷啟鏈路中葉子類目單鏈路召回的截?cái)喾?。下表展示了線上完整7天AB實(shí)驗(yàn)結(jié)果。

而在冷啟鏈路上完整AB7天的效果如下所示。

在冷啟鏈路上提升顯著，并在整體指標(biāo)上也獲得了進(jìn)一步的提升。

總結(jié)

每平每屋頻道新內(nèi)容冷啟動(dòng)分發(fā)策略先后經(jīng)歷了從基于湯普森采樣的定坑展現(xiàn)到基于Visual EE的動(dòng)態(tài)混排策略，在此基礎(chǔ)上我們將整個(gè)鏈路進(jìn)行重新設(shè)計(jì)，以均勻保量和助推放大兩階段構(gòu)成的獨(dú)立算法鏈路極大的縮減了新發(fā)布內(nèi)容的首曝時(shí)間，提升了整體系統(tǒng)的流量新鮮度和冷啟動(dòng)階段的扶持效率。我們引入的內(nèi)容潛力預(yù)估模型通過(guò)預(yù)估新內(nèi)容在未來(lái)成長(zhǎng)為熱門內(nèi)容的概率來(lái)干預(yù)冷啟鏈路的召回與排序，有效地幫助潛在熱門內(nèi)容在冷啟動(dòng)階段獲得更多的扶持流量，提升冷啟階段流量的利用率。

冷啟動(dòng)優(yōu)化項(xiàng)目取得了初步的成果，未來(lái)我們會(huì)進(jìn)行更細(xì)致的優(yōu)化：

1. 不同的內(nèi)容體裁在展現(xiàn)形式、內(nèi)容主題和后驗(yàn)效果上具有差異，設(shè)計(jì)更細(xì)致的冷啟動(dòng)策略有助于進(jìn)一步提升流量公平性和加速潛在優(yōu)質(zhì)內(nèi)容的成長(zhǎng)
2. 冷啟動(dòng)鏈路需求快速反饋，引入更多的實(shí)時(shí)特征并將主鏈路驗(yàn)證有效的ODL進(jìn)行遷移能夠提升整體鏈路的實(shí)時(shí)性，有助于新內(nèi)容更精準(zhǔn)的分發(fā)