編譯 | 汪昊

審校 | 重樓

推薦系統(tǒng)能夠給亞馬遜和 TikTok 每年帶來 30% - 40% 的流量或者銷售額增量，因此毫無疑問，推薦系統(tǒng)是互聯(lián)網(wǎng)和科技公司的搖錢樹。許多懵懂青年在上大學(xué)或者剛工作的時候，非常向往從事互聯(lián)網(wǎng)推薦行業(yè)。一方面，趨之若鶩的人才極大地推動了領(lǐng)域的發(fā)展；另一方面，該領(lǐng)域的發(fā)展給相關(guān)人才帶來了豐厚的回報。

在剛剛過去的2023 年的推薦系統(tǒng)領(lǐng)域權(quán)威會議 RecSys 2023 上，一篇題為 gSASRec: Reducing Overconfidence in Sequential Recommendation Trained with Negative Sampling 的論文（下載地址：https://arxiv.org/pdf/2308.07192.pdf）獲得了最佳論文獎。

作者首先回顧了過度自信問題的由來：在負(fù)采樣的過程中，推薦系統(tǒng)中的正樣本的比例通常會增加。這一現(xiàn)象，就是所謂的過度自信問題。過度自信問題會帶來如下隱患：1. 推薦系統(tǒng)偏重區(qū)分特別好和特別差的推薦，而差別不那么大的推薦結(jié)果得不到重視；2. 在某些情況下會導(dǎo)致嚴(yán)重的數(shù)值錯誤。我們在實際中發(fā)現(xiàn)，SASRec 算法會出現(xiàn)過度自信問題。并且常見的解決方案很難在深度學(xué)習(xí)的場景下適用。

基于 Transformer 的推薦算法通常在序列推薦的場景下表現(xiàn)更優(yōu)。在這一領(lǐng)域，BERT4rec 和 SASRec 是兩款經(jīng)典算法。

兩個最常用的序列推薦的損失函數(shù)是 BCE (Binary Cross Entropy) 和 Softmax Loss。BCE 的損失函數(shù)定義如下：

其中：

Softmax Loss 的定義如下：

其中：

Softmax Loss 不適合負(fù)采樣場景下的推薦系統(tǒng)。因此有學(xué)者提出了 Sampled Softmax Loss :

過度自信是指預(yù)測中物品出現(xiàn)的概率高于其先驗分布。下圖對比了幾種算法的過度自信程度：

通過觀察，可以發(fā)現(xiàn) SASRec 算法有嚴(yán)重的過度自信問題。

因為高頻率的物品會導(dǎo)致 BCE 數(shù)值計算發(fā)生錯誤，因此作者定義了新的gBCE （generalized BCE）指標(biāo)：

作者證明了一列 gBCE 防止過度自信的定理，此處因為篇幅原因，不再羅列相關(guān)的定理。感興趣的讀者可以自行查閱原始論文。作者基于新的損失函數(shù)設(shè)計了推薦系統(tǒng)，被命名為 gSASRec 算法。作者隨后進(jìn)行了對照實驗，該算法取得了優(yōu)異的效果：

這篇論文的核心在于證明了利用新的損失函數(shù)，可以得到緩解過度自信問題的若干定理，因此可以保證我們在使用新的損失函數(shù)設(shè)計算法之后，取得了遠(yuǎn)遠(yuǎn)優(yōu)于先前推薦的效果。

這篇論文看似簡單，但是作者在數(shù)學(xué)理論基礎(chǔ)推導(dǎo)方面下足了功夫，是難得一見的好文章。值得讀者認(rèn)真收藏，細(xì)細(xì)品味。

作者介紹

汪昊，前 Funplus 人工智能實驗室負(fù)責(zé)人。曾在 ThoughtWorks、豆瓣、百度、新浪等公司擔(dān)任技術(shù)和技術(shù)高管職務(wù)。在互聯(lián)網(wǎng)公司和金融科技、游戲等公司任職 13 年，對于人工智能、計算機(jī)圖形學(xué)、區(qū)塊鏈和數(shù)字博物館等領(lǐng)域有著深刻的見解和豐富的經(jīng)驗。在國際學(xué)術(shù)會議和期刊發(fā)表論文39 篇，獲得IEEE SMI 2008 最佳論文獎、ICBDT 2020 / IEEE ICISCAE 2021 / AIBT 2023 / ICSIM 2024最佳論文報告獎。