編譯 | 汪昊
審校 | 重樓
推薦系統(tǒng)是 1992 年施樂公司的 David Goldberg 在論文中首次提出的。人類歷史上第一個(gè)發(fā)表的推薦系統(tǒng)算法是協(xié)同過濾。該算法長期占據(jù)著主導(dǎo)地位。一直到最近，仍然有研究者發(fā)問稱對(duì)比了大量的推薦算法，發(fā)現(xiàn)基于物品的協(xié)同過濾性能優(yōu)異，吊打其他算法。
隨著時(shí)間的推移，出現(xiàn)了越來越多的推薦系統(tǒng)算法。1998年，亞馬遜公司的員工發(fā)明了基于物品的推薦系統(tǒng)。隨后在 2006 年，因?yàn)?Netflix 推薦系統(tǒng)大賽的緣故，基于矩陣分解的推薦系統(tǒng)被發(fā)明出來。隨后在 2010 年左右，線性模型和排序?qū)W習(xí)算法風(fēng)靡一時(shí)。從 2016 年開始，基于深度學(xué)習(xí)的推薦算法后來居上，一舉占據(jù)了包括 RecSys 在內(nèi)的各大學(xué)術(shù)會(huì)議的顯要位置，給推薦系統(tǒng)領(lǐng)域帶來了一場徹底的革命。
2017 年開始，人工智能領(lǐng)域的研究者開始廣泛關(guān)注人工智能倫理問題。隨后，推薦系統(tǒng)的具體場景落地問題得到了關(guān)注，尤其是序列化推薦，成為了熱門研究課題。本文將帶領(lǐng)讀者閱讀數(shù)據(jù)挖掘頂級(jí)會(huì)議 ACM KDD 2023 年的論文 Text Is All You Need: Learning Language Representations for Sequential Recommendation。論文的作者來自美國高校 UCSD 和美國公司亞馬遜。
圖一輸入數(shù)據(jù)中用戶信息
圖一中顯示了這篇文章中的算法利用的輸入數(shù)據(jù)與其他算法的不同：物品不再是由物品 ID 唯一表示的數(shù)字，而是一個(gè)鍵值對(duì)構(gòu)成的數(shù)據(jù)集合。例如，一臺(tái)蘋果筆記本電腦，不再由一個(gè)數(shù)字 315 表示，而是由產(chǎn)品名稱、品牌名稱和顏色代表的數(shù)據(jù)集合表示。
圖二算法架構(gòu)圖
在作者設(shè)計(jì)的算法架構(gòu)中，共有 4 個(gè)嵌入層：
- 元素嵌入向量：鍵值對(duì)中每個(gè)元素的嵌入向量
- 元素位置向量：用于表示元素在序列中位置的向量
- 元素類型向量：用于表示元素類型的向量
- 物品位置向量：用于表示物品在序列中位置的向量
算法架構(gòu)在 4 個(gè)嵌入層求和之后加入了一個(gè) Layer Normalization 層：
隨后我們得到嵌入層的終極表示方法：
我們隨后利用雙向 Transformer 結(jié)構(gòu) Longformer 對(duì)嵌入層編碼，得到物品的嵌入式向量表示：
給定序列 S，序列中下一個(gè)出現(xiàn)的物品為物品 i 的評(píng)分由下述公式計(jì)算：
預(yù)測出現(xiàn)的物品 i 為使上面公式得分值最高的物品：
為了讓算法效率更高，作者提出了預(yù)訓(xùn)練模型+兩階段微調(diào)算法來實(shí)現(xiàn)算法架構(gòu)：
為了使上面的算法執(zhí)行速度更加高效，研究者提出了利用預(yù)訓(xùn)練模型來實(shí)現(xiàn)上述算法結(jié)構(gòu)。第一種預(yù)訓(xùn)練模式是 MLM，也就是 Masked Language Modeling 。MLM 的算法架構(gòu)流程如下：
另一種預(yù)訓(xùn)練模式是 item-item contrative (IIC)。這種預(yù)訓(xùn)練模式的損失函數(shù)定義如下：
在算法的實(shí)際執(zhí)行中，我們采用了加權(quán)和的形式：
最后，我們對(duì)算法做兩階段微調(diào)。算法的偽代碼如下：
作者最后在論文中針對(duì)該算法做了對(duì)比實(shí)驗(yàn)：
通過實(shí)驗(yàn)，我們發(fā)現(xiàn)作者在論文中提出的算法性能優(yōu)越。
推薦系統(tǒng)自誕生以來，算法架構(gòu)變得越來越復(fù)雜。隨著大模型的興起，如何利用大模型進(jìn)行推薦也成為了研究的熱點(diǎn)。如果有一天大模型被證明能使推薦的效果明顯好于其他方法，推薦系統(tǒng)的研發(fā)將被集中在極少數(shù)有能力提供數(shù)據(jù)和大規(guī)模 GPU 集群的公司。因此，趁著這一切還沒有發(fā)生，廣大中小企業(yè)，還有高校師生，以及獨(dú)立研究者應(yīng)該抓緊時(shí)間為這一領(lǐng)域增磚添瓦。
作者簡介
汪昊，達(dá)評(píng)奇智董事長兼創(chuàng)始人。汪先生在 ThoughtWorks、豆瓣、百度、聯(lián)想和趣加等公司有超過 13 年的研發(fā)和管理經(jīng)驗(yàn)。擅長推薦系統(tǒng)、風(fēng)控反欺詐、爬蟲和自然語言處理等技術(shù)。成功上線了包括豆瓣小組推薦、聯(lián)想電商推薦和網(wǎng)易段子項(xiàng)目等 10 余款科技產(chǎn)品。在國際學(xué)術(shù)會(huì)議和期刊發(fā)表論文 44 篇。獲得 IEEE SMI 2008 (CCF-C) 最佳論文獎(jiǎng)，ICBDT 2020、IEEE ICISCAE 2021、AIBT 2023 和 ICSIM 2024 最佳論文報(bào)告獎(jiǎng)。
