一、快手的內(nèi)容冷啟動(dòng)解決什么問(wèn)題

首先來(lái)看一下快手冷啟動(dòng)要解決的問(wèn)題。

短期來(lái)看，平臺(tái)首先要讓更多的新視頻能夠獲得流量，也就是能夠發(fā)得出去。同時(shí)也要讓發(fā)出去的流量有比較好的效率。長(zhǎng)期來(lái)看，我們也要去探索挖掘更多的高潛新視頻，為整個(gè)熱門(mén)池提供更多的新鮮血液，緩解生態(tài)的馬太效應(yīng)。提供更多的優(yōu)質(zhì)內(nèi)容，帶來(lái)用戶體驗(yàn)的提升，同時(shí)也帶來(lái)時(shí)長(zhǎng)和 DAU 的增長(zhǎng)。

通過(guò)冷啟動(dòng)去促進(jìn) UGC 作者能夠獲得一些互動(dòng)的反饋激勵(lì)，維持整個(gè)生產(chǎn)者的留存。在這個(gè)過(guò)程中會(huì)有兩個(gè)約束，第一個(gè)是整體的探索成本，流量成本在大盤(pán)中要是相對(duì)比較穩(wěn)定的；第二個(gè)是我們只干預(yù)新視頻低 vv 階段的分發(fā)。那么我們?nèi)绾卧谶@些約束條件下完成整體收益的最大化呢？

視頻冷啟動(dòng)分發(fā)決定了他的成長(zhǎng)空間，特別是如果一個(gè)作品被分發(fā)給了興趣不匹配的人群，會(huì)產(chǎn)生兩個(gè)方面的影響。第一個(gè)是作者的生長(zhǎng)會(huì)受到影響，長(zhǎng)期得不到有效的互動(dòng)流量激勵(lì)，他的投稿的方向以及投稿意愿都會(huì)產(chǎn)生變化。第二個(gè)是由于早期的流量沒(méi)有有效的動(dòng)作率，系統(tǒng)會(huì)認(rèn)為這是一個(gè)不夠優(yōu)質(zhì)的內(nèi)容，它會(huì)長(zhǎng)期拿不到足夠的流量，這樣它也就成長(zhǎng)不起來(lái)。

長(zhǎng)此以往，生態(tài)就會(huì)陷入一個(gè)比較不好的狀態(tài)。比如有一個(gè)本地美食的作品，它肯定有一個(gè)最適合的受眾人群 A，他的動(dòng)作率整體是最高的。而另外可能有一個(gè)完全不相關(guān)的人群 C，在投給這個(gè)人群的時(shí)候會(huì)有一定的挑選性，動(dòng)作率可能會(huì)極低。當(dāng)然還有第三種人群 B，該人群是一個(gè)興趣非常廣泛的人群，雖然這個(gè)人群流量很大，但是整體上這部分人群的動(dòng)作率也是會(huì)偏低的。

如果我們能夠盡早的觸達(dá)核心人群A提升內(nèi)容早期的互動(dòng)率，就可以帶來(lái)一個(gè)自然流量的撬動(dòng)分發(fā)。但是如果我們?cè)缙谶^(guò)多地把流量給到了 C 人群或者 B 人群，就會(huì)導(dǎo)致整體的動(dòng)作率偏低，就會(huì)限制他的成長(zhǎng)。總而言之，提升冷啟分發(fā)效率是完成內(nèi)容成長(zhǎng)的一個(gè)最重要的途徑。為了完成內(nèi)容冷啟動(dòng)效率的迭代，我們會(huì)建立一些中間過(guò)程指標(biāo)和最終的長(zhǎng)期指標(biāo)。

過(guò)程指標(biāo)主要分為兩部分，一個(gè)是新視頻的消費(fèi)表現(xiàn)，主要包括它們的流量動(dòng)作率；第二個(gè)是出坡指標(biāo)，包括探索向、利用向和生態(tài)向。探索向是保證優(yōu)質(zhì)的新視頻不漏球，主要觀測(cè)曝光大于0，曝光大于100的一些視頻數(shù)的增長(zhǎng)情況。利用項(xiàng)是看高熱優(yōu)質(zhì)新視頻其高 VV 出坡視頻數(shù)的增長(zhǎng)。生態(tài)向主要是看熱門(mén)池的優(yōu)普率。長(zhǎng)期來(lái)看，由于這是一個(gè)通過(guò)生態(tài)影響帶來(lái)的長(zhǎng)期變化，所以我們最終在量化方法上會(huì)通過(guò) Combo 實(shí)驗(yàn)長(zhǎng)期觀察一些核心指標(biāo)的變化趨勢(shì)，包括 APP 時(shí)長(zhǎng)、作者 DAU 和大盤(pán) DAU。

二、冷啟動(dòng)建模的挑戰(zhàn)與解決方案

總體來(lái)說(shuō)，內(nèi)容冷啟動(dòng)主要包括三個(gè)方面的困難。第一個(gè)是內(nèi)容冷啟動(dòng)的樣本空間與真實(shí)求解空間存在巨大的差異。第二個(gè)是內(nèi)容冷啟動(dòng)的樣本是非常稀疏的，會(huì)導(dǎo)致學(xué)習(xí)不準(zhǔn)確，偏差非常大，特別是其在曝光偏差中是處于弱勢(shì)的。第三個(gè)是視頻成長(zhǎng)價(jià)值的建模困難，這也是我們規(guī)劃中的，正在做的工作。本次重點(diǎn)介紹前兩個(gè)方面。

1、樣本空間遠(yuǎn)小于真實(shí)求解空間的問(wèn)題

在內(nèi)容冷啟動(dòng)優(yōu)化問(wèn)題上，樣本空間小于求解空間，這個(gè)問(wèn)題異常突出。特別是內(nèi)容冷啟動(dòng)的推薦，要提升索引內(nèi)容的觸達(dá)率，讓更多的視頻有機(jī)會(huì)透出。

我們認(rèn)為要解決這個(gè)問(wèn)題，最重要的是在召回階段提升視頻的觸達(dá)和透出效率。為了解決冷啟動(dòng)視頻的召回觸達(dá)率。業(yè)界普遍的做法是基于 Content-Based，包括屬性倒排、基于語(yǔ)義相似度的一些召回方法，或者是基于雙塔加泛化特征的召回模型，又或者是引入行為空間和內(nèi)容空間的映射，類似于 CB2CF 的做法。

本次我們將重點(diǎn)介紹兩個(gè)比較有意思的新方法，分別是基于圖熵自增強(qiáng)的異構(gòu)圖網(wǎng)絡(luò)和基于 I2U 的星河模型。在技術(shù)選型上，我們首先使用 GNN 作為內(nèi)容冷啟動(dòng) U2I 的  Base model。因?yàn)槲覀兛紤]到 GNN 整體上是歸納式的學(xué)習(xí)方法，它對(duì)于新增節(jié)點(diǎn)非常友好，提供了更加的靈活性。另外，GNN 中引入了更多的屬性節(jié)點(diǎn)，是增強(qiáng)冷啟動(dòng)內(nèi)容觸達(dá)的一個(gè)重要手段。具體實(shí)踐方面，我們也是會(huì)引入 user 節(jié)點(diǎn)、author 節(jié)點(diǎn)和 item 節(jié)點(diǎn)，并完成信息的聚合。引入了這種泛化屬性節(jié)點(diǎn)后，新內(nèi)容的整體觸達(dá)率得到了極大的提升。但是泛化性過(guò)強(qiáng)的中間節(jié)點(diǎn)，例如 tag 類目也會(huì)引起視頻的感知域不夠個(gè)性化，帶來(lái)過(guò)平滑的風(fēng)險(xiǎn)。從 case 回查上看，我們發(fā)現(xiàn)有些喜歡看羽毛球視頻的用戶，現(xiàn)有的這種 GNN 刻畫(huà)方案容易引起羽毛球視頻和其他乒乓球、足球等視頻的區(qū)分能力不夠好。

為了解決 GNN 建模過(guò)程中引入過(guò)多泛化信息帶來(lái)泛化過(guò)度的問(wèn)題，我們的思路主要是引入更細(xì)致化的鄰居刻畫(huà)方案，具體會(huì)在 GNN 中引入語(yǔ)義自增強(qiáng)邊。從右下角的圖可以看到，我們會(huì)基于冷門(mén)視頻去尋找它在熱門(mén)空間中的相似熱門(mén)視頻，然后熱門(mén)相似視頻作為冷啟連邊的初始節(jié)點(diǎn)，在具體聚合的過(guò)程中，我們會(huì)基于圖熵減小的原則，進(jìn)行自增強(qiáng)邊的構(gòu)造和挑選。具體的挑選方案從公式可以看到，主要是考慮上面這個(gè)連邊鄰居節(jié)點(diǎn)和當(dāng)前節(jié)點(diǎn)信息的描述。如果兩個(gè)節(jié)點(diǎn)相似度越高，那么它們的信息熵會(huì)越小。下面的節(jié)點(diǎn)的分母代表的是鄰居節(jié)點(diǎn)整體的感知域，也可以理解為在挑選的過(guò)程中，我們更希望尋找到一個(gè)感知欲比較強(qiáng)的鄰居節(jié)點(diǎn)。

在實(shí)踐過(guò)程中，我們主要有兩個(gè)技巧，一個(gè)是相似視頻的特征域和 item id 的特征域要共享 embedding 空間，然后是自增強(qiáng)節(jié)點(diǎn)只保留熱門(mén)視頻，去除學(xué)習(xí)不充分節(jié)點(diǎn)引入的噪聲。有了這個(gè)升級(jí)之后，泛化性整體上得到充分保證情況下，有效提升了模型的個(gè)性化程度，并帶來(lái)了離線和在線的效果提升。

上述方法其實(shí)都是從 U2I 視角去建模完成內(nèi)容觸達(dá)的一個(gè)提升，但是無(wú)法從根本上解決視頻無(wú)法觸達(dá)的問(wèn)題。

如果轉(zhuǎn)化一下思路，從 item 的視角去尋找合適的人群，也就是切換到 I2U 的視角，理論上每一個(gè)視頻都有獲取流量的空間。

具體的做法是，我們要訓(xùn)練一個(gè) I2U 的檢索服務(wù)，通過(guò)檢索服務(wù)動(dòng)態(tài)地為每個(gè)視頻檢索興趣人群。通過(guò) I2U 的這種編構(gòu)圖，反向構(gòu)建 U2I 的倒排索引，最后根據(jù)用戶的實(shí)時(shí)請(qǐng)求返回 item list 作為冷啟推薦列表。

其中的重點(diǎn)是要訓(xùn)練一個(gè) I2U 的檢索服務(wù)，我們的初版是一個(gè)雙塔模型。在實(shí)踐的過(guò)程中，為了避免掛載用戶過(guò)于集中的問(wèn)題，我們首先會(huì)棄用 uid 而使用 action list和 self-attention 的方式有效地緩解用戶聚集問(wèn)題；同時(shí)，為了避免在學(xué)習(xí)過(guò)程 item-id 帶來(lái)的學(xué)習(xí)曝光偏差，我們會(huì)棄用 item-id 而引入更多的語(yǔ)義向量、類目、tag 和 AuthorID 等這樣的泛化特征來(lái)有效的緩解 item-id 的聚集。從 user 視角來(lái)看，引入了這種 Debias 的 loss，然后引入 batch 內(nèi)的負(fù)采樣，更好地避免用戶集中的問(wèn)題。

雙塔的 I2U 模型是我們的首版實(shí)踐，在實(shí)踐過(guò)程中也有發(fā)現(xiàn)了一些問(wèn)題。首先是雙塔模型存在 user 和 item 交互的局限性，整體的檢索精度受到了限制。另外，還有興趣集中的問(wèn)題，掛載在用戶身上的內(nèi)容經(jīng)常會(huì)興趣非常集中，但事實(shí)上用戶的興趣是多峰分布。我們還發(fā)現(xiàn)掛載的用戶過(guò)于集中的問(wèn)題，大部分的冷啟視頻會(huì)掛載在一些頭部用戶身上，這也是不夠合理的，因?yàn)楫吘诡^部的用戶每天能消費(fèi)的內(nèi)容也是有限的。

為了解決上面三個(gè)問(wèn)題，新的解決方案是 TDM 建模和 TDM 分層檢索方式。TDM 的一個(gè)好處是可以引入更加復(fù)雜的 user-item 交互模式，突破雙塔的交互限制。第二個(gè)是使用類似于 DIN 的模式，可以減少對(duì)單峰興趣的依賴。最后是 TDM 中引入分層檢索可以非常有效地緩解掛載用戶集中的問(wèn)題。

此外我們還有一個(gè)比較有效的優(yōu)化點(diǎn)是給父親節(jié)點(diǎn)增加子孫節(jié)點(diǎn)的聚合表示，增強(qiáng)父親節(jié)點(diǎn)的特征泛化和判別精度，就是會(huì)把兒子節(jié)點(diǎn)通過(guò) Attention 的方式聚合到父親節(jié)點(diǎn)，通過(guò)層層透?jìng)骺梢允沟弥虚g節(jié)點(diǎn)也具有一定的語(yǔ)義泛化能力。

除了 I2U model 之外，我們?cè)谧罱K的系統(tǒng)實(shí)踐過(guò)程中，還引入了 U2U 的興趣拓展模塊，也就是冷啟視頻如果在某些用戶表現(xiàn)很好，會(huì)做一個(gè)快速的擴(kuò)散。

具體與目前業(yè)界 U2U 的一些方法是類似的，但是這里的 U2U 興趣擴(kuò)展模塊主要有三個(gè)方面的優(yōu)勢(shì)，一個(gè)是 TDM 樹(shù)結(jié)構(gòu)相對(duì)比較固化，增加這種 U2U 模塊可以更加貼近用戶的實(shí)時(shí)偏好。此外通過(guò)這種實(shí)時(shí)興趣的擴(kuò)散，我們也可以突破模型的限制，通過(guò)用戶的協(xié)同，將內(nèi)容快速的推廣，帶來(lái)多樣性的提升，最終也能提升星河召回的整體覆蓋率，這是我們?cè)趯?shí)踐過(guò)程中的一些優(yōu)化點(diǎn)。

總的來(lái)說(shuō)，我們通過(guò)這些方案能夠有效地解決內(nèi)容冷啟動(dòng)的樣本空間和真實(shí)求解空間不一致性的問(wèn)題，使得冷啟動(dòng)的觸達(dá)和覆蓋得到很明顯的提升。

2、冷啟動(dòng)樣本稀疏學(xué)習(xí)不準(zhǔn)確與偏差大

接下來(lái)介紹內(nèi)容冷啟動(dòng)樣本稀疏性導(dǎo)致學(xué)習(xí)不準(zhǔn)確和偏差大的問(wèn)題，這是一個(gè)最大的挑戰(zhàn)。這個(gè)問(wèn)題的本質(zhì)是交互行為的稀疏性，我們把問(wèn)題展開(kāi)為三個(gè)方向。

首先是樣本上由于冷啟的樣本曝光少，導(dǎo)致 item id 學(xué)習(xí)非常不充分，從而最終的透出和推薦效率也受到影響。第二個(gè)是由于早期分發(fā)的不準(zhǔn)確，收集的 label 不確定性比較高，置信度比較低。第三個(gè)是不做糾偏的情況下，目前訓(xùn)練范式會(huì)將熱度信息引入到 item 的 embedding 中，導(dǎo)致冷啟視頻有可能會(huì)被低估，從而分發(fā)不出去。

我們主要從四個(gè)方向去解決這個(gè)問(wèn)題。第一個(gè)是泛化，第二個(gè)是遷移，第三個(gè)是探索，第四個(gè)是糾偏。泛化更多是從泛化特征的角度來(lái)完成建模和升級(jí)。遷移主要是想把冷門(mén)和熱門(mén)的視頻當(dāng)做兩個(gè)域，將熱門(mén)視頻域或者全量信息域的信息進(jìn)行有效遷移來(lái)輔助冷門(mén)視頻的學(xué)習(xí)。探索主要是引入探索和利用的思想，就是在早期 label 不準(zhǔn)確的情況下，我們希望在建模的過(guò)程中就引入探索的思想，從而緩解冷啟階段的不置信 label 帶來(lái)的負(fù)面影響。熱度糾偏是目前比較火的一些方向，我們主要通過(guò)門(mén)控和正則 loss 的方式來(lái)約束熱度信息的使用。

下面具體介紹我們的工作。

首先，泛化是目前解決冷啟動(dòng)問(wèn)題一個(gè)非常普遍并且常用的手段。但是在我們實(shí)踐過(guò)程中還是發(fā)現(xiàn)，相比于 tag、類目而言，引入一些語(yǔ)義 embedding 其實(shí)也是會(huì)比較有用的，但是這種直接把語(yǔ)義型特征直接加進(jìn)來(lái)，整體帶來(lái)的收益是非常有限的。既然視頻語(yǔ)義空間和行為空間本身存在差異，我們能否通過(guò)視頻語(yǔ)義的共性信息得到新視頻在行為空間中的一個(gè)近似表征，通過(guò)這種泛化的信息來(lái)輔助。其實(shí)之前我們也提到有些做法，包括 CB2CF 這種思路，它會(huì)將泛化信息和真實(shí)行為空間做映射學(xué)習(xí)。我們其實(shí)并不是這么做的，實(shí)際實(shí)踐的過(guò)程中我們會(huì)根據(jù)視頻的語(yǔ)義向量找到和 target  item 相似的 similar item list，首先它會(huì)和用戶的長(zhǎng)短期興趣行為共享行為空間，同時(shí)我們會(huì)把 similar item list 做聚合，模擬得到候選視頻在行為空間中的表征。其實(shí)這個(gè)做法跟我們剛才提到的圖召回中引入與候選 item 相似連邊的做法是一脈相承的，這個(gè)做法的效果是非常明顯的，在離線 AUC 上有 0.35PP 的提升。

第二個(gè)是探索，就是新視頻早期分發(fā)不準(zhǔn)會(huì)導(dǎo)致后驗(yàn) CTR 均值偏低，而這種均值偏低也會(huì)導(dǎo)致模型認(rèn)為視頻本身可能質(zhì)量比較差，最終冷啟動(dòng)內(nèi)容的探索性就受到了限制。那么能否建模 PCTR 的不確定性，減緩冷啟階段label的絕對(duì)利用和信任。我們嘗試著將一次請(qǐng)求的 CTR 預(yù)估轉(zhuǎn)變?yōu)橐粋€(gè) Beta 分布的預(yù)估，在線兼顧使用期望和方差。具體在實(shí)踐過(guò)程中，我們會(huì)預(yù)估 Beta 分布的一個(gè) α 和 β，具體在 loss 設(shè)計(jì)是預(yù)估的值和真實(shí) label 的均方差的期望值。我們把期望值展開(kāi)之后會(huì)發(fā)現(xiàn)需要得到預(yù)估值平方的期望和預(yù)估值的期望。而這兩個(gè)值我們通過(guò)預(yù)估出來(lái)的 α 和 β 可以有效的計(jì)算出來(lái)， loss 也就生成了，然后我們就能夠訓(xùn)練 Beta 分布，最后把 Beta 分布的預(yù)估值增加一個(gè)隊(duì)列平衡探索與利用。其實(shí)我們?cè)诘?vv 階段使用 Beta 的 loss 在 AUC 上有一定的提升，但并不是特別明顯。但我們把貝塔分布在線使用能夠在整體動(dòng)作率持平的情況下，使得 0vv 的內(nèi)容有效透出率增長(zhǎng)22%。

接下來(lái)介紹的是對(duì)偶域遷移學(xué)習(xí)框架。整體的思想是，冷啟動(dòng)內(nèi)容通常是高度傾斜的長(zhǎng)尾分布，也是流行性偏見(jiàn)中的弱勢(shì)群體。如果我們只使用冷啟動(dòng)樣本，可以一定程度上緩解流行性的偏差，但是會(huì)丟失大量的用戶興趣，導(dǎo)致整體的精度下降。

我們目前已有的一些嘗試，大多數(shù)是通過(guò)高熱樣本的一些欠采樣，或者逆頻率加權(quán)或者泛化特征的方式來(lái)側(cè)重冷啟樣本的學(xué)習(xí)，但是往往忽略了冷啟動(dòng)早期行為樣本與熱門(mén)視頻的在行為空間上的一個(gè)內(nèi)在共性。

所以我們?cè)谠O(shè)計(jì)過(guò)程中會(huì)把全量樣本和冷啟樣本分為兩個(gè)域，就是上圖中的全量域和冷啟域，全量域?qū)λ械臉颖径忌?，冷啟域只針?duì)冷啟條件的樣本才生效，然后增加雙邊的冷熱知識(shí)域的遷移模塊。具體的是會(huì)對(duì) user 和 item 分別建模，從全域的樣本塔到冷啟樣本塔的網(wǎng)絡(luò)映射，從而在模型層面捕捉隱式的數(shù)據(jù)增強(qiáng)，提升冷啟動(dòng)視頻的表示。在 item 側(cè)我們會(huì)保留全量所有冷啟樣本，此外，也會(huì)對(duì)一些高熱的視頻根據(jù)曝光量進(jìn)行采樣，保證冷熱域分布的相似性，最終能夠確保整個(gè)映射的知識(shí)遷移的平滑。

此外我們還增加了一個(gè)獨(dú)有的對(duì)偶流行度門(mén)控機(jī)制，引入一些流行性特征，用它去輔助冷熱視頻域的融合配比。一方面，新視頻在不同的生命周期下冷啟表達(dá)利用率的配比可以得到有效的學(xué)習(xí)和分配。另一方面，在用戶側(cè)也學(xué)習(xí)了不同活躍用戶對(duì)冷啟視頻的敏感度。在實(shí)踐過(guò)程中，離線效果無(wú)論在低 vv 階段還是 4000vv 的 AUC 都有一定的提升。

最后介紹一個(gè)在糾偏方面的工作，也就是熱度糾偏。推薦系統(tǒng)經(jīng)常會(huì)面臨著熱度的偏差，整體上是高爆品的狂歡?，F(xiàn)有的模型范式擬合的目標(biāo)是全局的 CTR，推薦熱門(mén)可能獲得整體 loss 更低，但也會(huì)將一些熱度的信息注入到 item embedding 中，引起高熱視頻被高估。

現(xiàn)有的一些方法一味追求做一些無(wú)偏估計(jì)，其實(shí)也會(huì)帶來(lái)一些消費(fèi)的損失。那么我們能否將一些 item embedding 在熱度信息和真實(shí)的興趣信息上解耦，有效利用熱度信息和興趣信息做在線融合，這可能是一個(gè)更加合理的方式。具體實(shí)踐過(guò)程中我們參考了同行的一些做法。

重點(diǎn)主要是兩個(gè)模塊，一個(gè)是做了輸入內(nèi)容熱度和興趣的正交約束，比如輸入的是 item id、author id 等特征，會(huì)生成兩個(gè)表征，這兩個(gè)表征一個(gè)是熱度表征，一個(gè)是真實(shí)興趣表征，求解過(guò)程中會(huì)做一個(gè)正則約束。第二個(gè)是我們會(huì)將一些 item 的純熱度信息也生成 embedding 作為視頻的純熱度表征，純熱度表征會(huì)根據(jù)視頻的真實(shí)熱度表征去做一個(gè)相似性約束，這樣就可以得到剛才說(shuō)到的熱度表征和興趣表征，他們一個(gè)是表達(dá)熱度信息，一個(gè)是在表達(dá)興趣信息。最后會(huì)基于這兩個(gè)表征在線添加一個(gè)有偏估計(jì)和無(wú)偏估計(jì)的隊(duì)列做乘法公式融合。

三、未來(lái)展望

最后來(lái)分享一下對(duì)未來(lái)工作的展望。

首先是在人群擴(kuò)散模型上更加精細(xì)化的建模與應(yīng)用，特別是人群擴(kuò)散的實(shí)時(shí)性，包括目前的 lookalike。我們其實(shí)也落地了一些 lookalike 的方案，比如在冷啟階段 U2U 的一個(gè)擴(kuò)散應(yīng)用，我們希望把它做得更精細(xì)化。

第二個(gè)是糾偏的方案，目前的因果模型在冷啟動(dòng)糾偏中也是有很多的研究，我們也會(huì)在這個(gè)方向做持續(xù)的研究和探索，特別是對(duì)于曝光的糾偏，還有熱度的糾偏，第三個(gè)是在樣本選擇上，高熱樣本對(duì)于冷啟的推薦還是有更大的價(jià)值的，能否在高熱樣本空間中挑選出一些更有價(jià)值的樣本，給他們以不同的權(quán)重來(lái)提升冷啟模型的推薦效率。

第三個(gè)是視頻的長(zhǎng)期成長(zhǎng)價(jià)值的刻畫(huà)，每個(gè)視頻都需要經(jīng)歷冷啟-成長(zhǎng)-穩(wěn)定-衰落的過(guò)程，如何在建模視頻的時(shí)候更加關(guān)注它的長(zhǎng)期收益，也就是成長(zhǎng)空間，特別是在撬動(dòng)價(jià)值方面，如何建模不同的單次分發(fā)對(duì)未來(lái)成長(zhǎng)的價(jià)值差異，這也是一項(xiàng)非常有意思的工作。

最后一個(gè)是通過(guò)數(shù)據(jù)增強(qiáng)的方案，無(wú)論是樣本還是對(duì)比學(xué)習(xí)的方案，我們都希望引入一些這方面的工作提升冷啟推薦的效率。

四、問(wèn)答環(huán)節(jié)

Q1：線上請(qǐng)求都是 user 粒度的，線上是如何把 I2U 的 user 放到向量引擎的？

A1：I2U 模型在離線會(huì)不斷在索引庫(kù)去找它最相似的用戶，然后根據(jù) item 找到的最相似的 user，再把它轉(zhuǎn)化為 user-item pair，最后得到 user to item list 的聚合，然后放到 redis 中供線上使用。

Q2：冷啟動(dòng)的另一面是如何防止頭部?jī)?nèi)容過(guò)熱，樣本占比過(guò)高，導(dǎo)致越推越集中，有什么方法嗎？

A2：分享中已經(jīng)提到了幾個(gè)方法，從根本上來(lái)說(shuō)，我們還是從泛化、探索和糾偏的角度去解決。比如 item id 如何初始化，使得它有更好的初始點(diǎn)，同時(shí)做一些泛化特征的引入，把泛化特征映射到行為語(yǔ)義空間。然后通過(guò) Beta 分布來(lái)提升探索性；還有就是通過(guò)引入純內(nèi)容塔，去除 pid 等存在強(qiáng)記憶的特征，從而引入無(wú)熱度偏差的純泛化預(yù)估，還有就是糾偏的工作，希望在學(xué)習(xí)的過(guò)程中將熱度因子單獨(dú)學(xué)習(xí)和約束，提供純興趣標(biāo)準(zhǔn)和熱度標(biāo)準(zhǔn)，線上合理的分配熱度標(biāo)準(zhǔn)的使用力度。當(dāng)然除了這些方法之外我們也嘗試從數(shù)據(jù)增強(qiáng)緩解冷啟動(dòng)內(nèi)容的稀疏性，還有從遷移學(xué)習(xí)的角度去使用熱門(mén)的內(nèi)容輔助冷啟動(dòng)內(nèi)容的學(xué)習(xí)。

Q3：熱門(mén)池的優(yōu)普率具體是怎么算的？

A3：優(yōu)普率其實(shí)是一個(gè)人工參與度非常高的工作，我們不可能完全用 model 去評(píng)估一個(gè)視頻的優(yōu)普率。如果我們能夠用模型來(lái)評(píng)估一個(gè)內(nèi)容，比如曝光量達(dá)到5萬(wàn)的視頻，整體優(yōu)普率會(huì)有人工參與，它一定會(huì)推送給審核人員來(lái)審核哪些是優(yōu)普。