一、場(chǎng)景介紹

首先來介紹一下本文涉及的場(chǎng)景—— “有好貨”場(chǎng)景。它的位置是在淘寶首頁的四宮格，分為一跳精選頁和二跳承接頁。承接頁主要有兩種形式，一種是圖文的承接頁，另一種是短視頻的承接頁。這個(gè)場(chǎng)景的目標(biāo)主要是為用戶提供滿意的好貨，帶動(dòng) GMV 的增長(zhǎng)，從而進(jìn)一步撬動(dòng)達(dá)人的供給。

二、流行度偏差是什么，為什么

接下來進(jìn)入本文的重點(diǎn)，流行度偏差。流行度偏差是什么？為什么會(huì)產(chǎn)生流行度偏差？

1、流行度偏差是什么

流行度偏差有很多別名，比如馬太效應(yīng)、信息繭房，直觀來講它是高爆品的狂歡，越熱門的商品，越容易曝光。這會(huì)導(dǎo)致優(yōu)質(zhì)的長(zhǎng)尾商品或者達(dá)人創(chuàng)作的新商品沒有曝光的機(jī)會(huì)。其危害主要有兩點(diǎn)，第一點(diǎn)是用戶的個(gè)性化不足，第二點(diǎn)是達(dá)人創(chuàng)作的新商品得不到足夠的曝光，使得達(dá)人參與感降低，因此我們希望緩解流行度偏差。

從上圖右邊的藍(lán)色柱狀圖可以看出，曝光 top10% 的商品在某一天中占據(jù)了 63% 的曝光，這證明在有好貨的場(chǎng)景下馬太效應(yīng)是非常嚴(yán)重的。

2、為什么會(huì)產(chǎn)生流行度偏差

接下來我們?nèi)w因?yàn)槭裁磿?huì)產(chǎn)生流行度偏差。首先，需要闡明我們?yōu)槭裁磿?huì)在召回截?cái)嘧鼍徑饬餍卸绕畹墓ぷ鳌Ｅ判蚰Ｐ蛿M合的是商品的 CTR，它的訓(xùn)練樣本包含正樣本和負(fù)樣本，CTR 越高的商品越容易獲得曝光。但是在召回階段，我們通常會(huì)采用雙塔模型，它的負(fù)樣本通常會(huì)通過兩種方式產(chǎn)生，第一種是全局隨機(jī)負(fù)采樣，第二種是 batch 內(nèi)負(fù)采樣，batch 內(nèi)負(fù)采樣是將同一個(gè) batch 取正樣本的其它曝光日志當(dāng)作負(fù)樣本，所以它在一定程度上可以緩解馬太效應(yīng)。但是，通過實(shí)驗(yàn)我們發(fā)現(xiàn)，全局負(fù)采樣實(shí)際的線上效率型效果會(huì)更好。不過，推薦系統(tǒng)中的全局隨機(jī)負(fù)采樣可能導(dǎo)致流行度偏差，因?yàn)樗粸槟Ｐ吞峁┝苏答仭＿@種偏差可能歸因于流行度分布差異和先驗(yàn)知識(shí)干擾，即用戶傾向于點(diǎn)擊更受歡迎的物品。因此，模型可能會(huì)優(yōu)先推薦熱門物品，而不考慮它們的相關(guān)性。

我們也分析了流行度分布差異，如上圖右邊綠線所示，通過將商品按照曝光頻率分組并計(jì)算每組的正樣本平均分，發(fā)現(xiàn)即使所有樣本都是正樣本，平均分?jǐn)?shù)也隨曝光頻率的下降而下降。推薦系統(tǒng)模型訓(xùn)練時(shí)存在流行度分布差異和長(zhǎng)尾分布差異。模型會(huì)傾向于把流行度信息注入到商品的 ID 特征中，導(dǎo)致流行度分布差異。高爆品獲得的訓(xùn)練次數(shù)遠(yuǎn)大于長(zhǎng)尾商品，使得模型過擬合于高爆品，長(zhǎng)尾商品難以得到充足訓(xùn)練和合理向量表示。如上圖右邊的 TSN 圖所示，藍(lán)點(diǎn)表示高曝商品的商品向量，而紅點(diǎn)表示長(zhǎng)尾商品的商品向量，顯示出分布上的顯著差異。而且如上圖右邊的紅線所示，hit ratio 也會(huì)隨著曝光數(shù)的降低而降低。所以，我們把流行度偏差的產(chǎn)生歸因于流行度分布差異和長(zhǎng)尾分布差異。

三、流行度偏差當(dāng)前解決方案

當(dāng)前業(yè)界的解決方案主要包括兩種，分別是逆傾向評(píng)分（IPS）和因果推斷。

1、逆傾向評(píng)分（IPS）

通俗來講就是將主任務(wù)損失函數(shù)中高曝光概率商品的權(quán)重調(diào)低以避免過度關(guān)注于高曝光概率商品，從而可以更平均地關(guān)注整個(gè)正樣本分布。但是，這種方法需要提前預(yù)測(cè)曝光概率，這種預(yù)測(cè)是不穩(wěn)定的，容易失效或者波動(dòng)較大。

2、因果推斷

我們需要構(gòu)建一張因果圖，i 代表商品特征，u 代表用戶特征，c 代表點(diǎn)擊概率，這張圖就表示給模型輸入用戶特征和商品特征，預(yù)測(cè)點(diǎn)擊率。如果我們把流行度偏差也考慮到這個(gè)模型中，用 z 來代表，它不僅會(huì)影響點(diǎn)擊率，還會(huì)影響商品的特征表示  i，因果推斷的方法是嘗試去阻斷 z 對(duì) i 的影響。

比較簡(jiǎn)單的方法是利用商品的一些統(tǒng)計(jì)特征單獨(dú)得到一個(gè) bias 塔，此時(shí)模型會(huì)輸出兩個(gè)分，一個(gè)是真實(shí)的點(diǎn)擊率，另一個(gè)是商品的流行度分，在線上預(yù)測(cè)的時(shí)候會(huì)將商品的流行度分去掉，實(shí)現(xiàn)對(duì)流行度偏差的解耦。

第二種方法是將用戶點(diǎn)擊歸因?yàn)閮深悾活愂菑谋娕d趣，一類是真實(shí)興趣，分別構(gòu)建樣本聯(lián)合訓(xùn)練。相當(dāng)于得到兩個(gè)模型，一個(gè)模型去得到用戶的從眾興趣分，一個(gè)模型去得到用戶的真實(shí)興趣分。因果推斷其實(shí)也存在問題，它解決了流行度分布差異，但不能解決長(zhǎng)尾商品缺乏訓(xùn)練數(shù)據(jù)的問題。當(dāng)前的解決方案傾向于消除流行度偏見，但這對(duì)于需要“馬太效應(yīng)”來生存的推薦系統(tǒng)可能并不總是有益的。所以，我們建議不要完全去除推薦系統(tǒng)中的流行度偏差，因?yàn)榱餍械捻?xiàng)目通常更優(yōu)質(zhì)，用戶也有從眾心理和真實(shí)興趣兩種心理，完全去除流行度偏差會(huì)影響用戶從眾興趣的滿足。應(yīng)該合理利用流行度偏差，不加劇偏差。

四、CD2AN 基本框架

我們這一次探索的工作就是如何合理地利用流行度偏差，要想合理地利用流行度偏差，需要解決一個(gè)難點(diǎn)：“如何提取無偏且學(xué)習(xí)充分的商品表示？”針對(duì)流行度分布差異，我們需要從商品 ID 中解耦出真實(shí)內(nèi)容向量和流行度向量。針對(duì)長(zhǎng)尾分布差異，我們借鑒了域適應(yīng)的范式將整體分布對(duì)齊，借鑒了對(duì)比學(xué)習(xí)的范式將實(shí)例分布對(duì)齊。

先來介紹 base 模型的基本結(jié)構(gòu)，base 模型其實(shí)就是一個(gè)經(jīng)典的雙塔模型。接下來詳細(xì)介紹下我們是如何解決前面提到的兩個(gè)問題的（流行度分布差異和長(zhǎng)尾分布差異）。

1、特征解耦模塊緩解流行度分布差異

特征解耦模塊是本文針對(duì)推薦系統(tǒng)中的流行度偏差問題提出的一種解決方案。該模塊通過將物品向量表示中的流行度信息與屬性信息分離開來，從而減輕流行度對(duì)物品向量表示的影響。具體地，該模塊包括流行度編碼器和屬性編碼器，通過多層感知器的組合學(xué)習(xí)得到每個(gè)物品的屬性和流行度向量表示。這個(gè)模塊的輸入是物品的屬性特征，例如物品 ID、物品類目、品牌等，如上圖模型結(jié)構(gòu)中的右邊部分所示。這里會(huì)有兩個(gè)約束，包括正交正則化和流行度相似度正則化，旨在將流行度信息與物品屬性信息分離。其中，通過流行度相似度正則化，模塊被鼓勵(lì)將嵌入物品屬性的流行度信息與真實(shí)流行度信息對(duì)齊，而通過正交正則化，模塊被鼓勵(lì)在編碼中保留不同的信息，從而實(shí)現(xiàn)分離流行度信息和物品屬性信息的目標(biāo)。

我們還需要一個(gè)學(xué)習(xí)真實(shí)流行度的模塊，如上圖模型結(jié)構(gòu)中的左邊部分所示，它的輸入主要就是商品的統(tǒng)計(jì)特征，然后經(jīng)過一個(gè) MLP 得到真實(shí)的流行度表示。

2、正則化緩解分布差異

接下來，我們想要解決長(zhǎng)尾分布差異的問題。

我們借鑒了遷移學(xué)習(xí)的思想，實(shí)現(xiàn)熱門商品和長(zhǎng)尾商品的分布對(duì)齊。我們?cè)谠瓉淼碾p塔模型中，引入了一個(gè)未曝光商品，使用了 MMD 的損失函數(shù)（如上圖左上所示），這個(gè)損失函數(shù)希望熱門商品域和長(zhǎng)尾商品域的簇中心盡可能靠近，如上圖右上示意圖所示。由于這種域?qū)R是無監(jiān)督的，可能會(huì)產(chǎn)生負(fù)遷移，我們做了如下優(yōu)化：曝光樣本在域?qū)R損失上的梯度被停止，防止影響到任務(wù)損失；對(duì)于未曝光樣本，引入精排分進(jìn)行知識(shí)蒸餾。

我們還借鑒了實(shí)例對(duì)齊的思想，希望可以學(xué)習(xí)得到更好的商品向量表示，主要思想就是有效共現(xiàn)次數(shù)越多的商品，向量表示越相似。這里的難點(diǎn)是如何去構(gòu)造 pair。在用戶有過往行為的商品序列中，天然存在這樣的 pair。以一個(gè)用戶舉例，一條樣本包含了一個(gè)用戶的行為序列和目標(biāo)商品，那么目標(biāo)商品和用戶行為序列中的每個(gè)商品就能構(gòu)成共現(xiàn)的 pair。我們?cè)诮?jīng)典的對(duì)比學(xué)習(xí)的損失函數(shù)的基礎(chǔ)上還考慮了用戶的興趣多樣性和商品頻率，具體的損失函數(shù)公式可見上圖中左下部分。

我們可以看一個(gè)直觀的示意圖，如上圖中右下所示，灰色的點(diǎn)是目標(biāo)商品，橙色的點(diǎn)是用戶的行為序列，藍(lán)色的點(diǎn)是我們隨機(jī)負(fù)采樣得到的負(fù)樣本。我們希望借鑒對(duì)比學(xué)習(xí)的方法去約束用戶行為序列中每個(gè)商品都和目標(biāo)商品靠近。

3、有偏無偏聯(lián)合訓(xùn)練

以上模塊有效地得到了商品的無偏內(nèi)容表示和解耦的流行度表示，我們應(yīng)該怎樣去應(yīng)用呢？我們利用了無偏模型和有偏模型聯(lián)合訓(xùn)練的方式，無偏商品向量可以基于解耦模塊及正則化提取，為了能夠利用流行度信息，我們還引入了流行度特征，有偏模型只會(huì)繼承流行度偏差，不會(huì)加劇偏差。線上服務(wù)部分，如上圖右邊所示，我們將無偏的商品表示和有偏的商品表示通過參數(shù) α 融合起來得到線上的商品表示，這樣即可通過用戶向量來召回商品，這個(gè) α 是調(diào)節(jié)召回關(guān)注流行度信息的程度。

4、離線及線上實(shí)驗(yàn)

上圖中展示了這個(gè)模型離線及線上的效果。在離線實(shí)驗(yàn)中，我們引入了 C-Ratio 的指標(biāo)，來衡量召回結(jié)果中有多少商品是高曝光商品。通過離線實(shí)驗(yàn)我們可以看出各個(gè)模塊都有一定程度的貢獻(xiàn)。無偏模型在線上效率指標(biāo)方面并沒有收益，說明流行度信息是有用的，我們還是需要使用有偏模型去利用流行度信息。

最后，我們對(duì)模型結(jié)果做了可視化的展示。我們發(fā)現(xiàn)新的模型結(jié)構(gòu)的確可以將高爆商品和長(zhǎng)尾商品的分布記性對(duì)齊，解耦出來的流行度表示向量和商品無偏的內(nèi)容表示幾乎是沒有交集的，并且同類目的商品能有更緊密的聯(lián)系，通過對(duì) α 的調(diào)整，可以讓模型有方向地去擬合用戶的從眾興趣和真實(shí)興趣。

今天的分享論文標(biāo)題是《Co-training Disentangled Domain Adaptation Network for Leveraging Popularity Bias in Recommenders》。

五、問答環(huán)節(jié)

Q1：未曝光樣本是怎么加入到樣本中的？

A1：離線生成的，針對(duì)一條樣本，我們可以拿到目標(biāo)正樣本及對(duì)應(yīng)的類目，然后離線地隨機(jī)采樣出若干個(gè)和目標(biāo)正樣本相同類目的商品，掛載到訓(xùn)練樣本中。

Q2：引入同類的未曝光樣本，會(huì)不會(huì)增加學(xué)習(xí)難度？

A2：引入的未曝光樣本是沒有標(biāo)簽的，是通過無監(jiān)督的方式來進(jìn)行分布對(duì)齊，可能會(huì)存在負(fù)遷移的情況，我們用了兩個(gè)技巧來解決這個(gè)問題：曝光樣本在域?qū)R損失上的梯度被停止，防止影響到任務(wù)損失；對(duì)于未曝光樣本，可以引入精排分進(jìn)行知識(shí)蒸餾。

Q3：未曝光樣本獲取精排分成本會(huì)不會(huì)很高？

A3：離線對(duì)樣本用精排模型打一遍分，作為特征來使用，性能還好。

Q4：未曝光樣本是進(jìn)精排未曝光的樣本嗎？

A4：不是，這樣大概率還是一個(gè)高爆品，我們使用的是全局同類目下隨機(jī)采樣的結(jié)果。