Next Item Prediction任務(wù)是序列推薦系統(tǒng)中的一個基礎(chǔ)任務(wù)，根據(jù)用戶的歷史瀏覽行為item序列，預(yù)測用戶下一個感興趣的item。今天這篇文章，給大家梳理一下近幾年來，Next Item Prediction任務(wù)的代表性工作。

1.基于BERT的序列建模

論文標題：BERT4Rec: Sequential Recommendation with Bidirectional Encoder Representations from Transformer

BERT4Rec是阿里在2019年提出的一種基于BERT的NIP建模方法。在之前的工作中，大多基于RNN的單向模型進行興趣預(yù)測。這種單向的建模方法忽略了歷史行為中潛在的雙向信息。因此，本文提出以NLP中的BERT模型為底座，建立基于BERT的雙向歷史序列編碼方法，并進行下一個item預(yù)測。

模型的核心結(jié)構(gòu)如下圖所示，整體完全基于BERT的結(jié)構(gòu)。在底層，輸入歷史行為序列，并隨機mask一部分行為，在訓(xùn)練階段對被mask掉的行為進行預(yù)測，類似BERT中的MLM任務(wù)。在預(yù)測結(jié)果，整個序列的末尾拼接一個mask，讓BERT對最后一個mask進行預(yù)測。

由于上述方法存在訓(xùn)練和預(yù)測階段不一致問題，文中才訓(xùn)練階段，也會隨機選擇一部分數(shù)據(jù)，只mask掉最后一個行為，和預(yù)測階段保持一致。

2.考慮時間間隔的序列建模

論文標題：Time Interval Aware SelfAttention for Sequential Recommendation（WSDM 2020）

之前的序列建模中，比較少考慮用的歷史行為的時間間隔信息。然而，時間間隔信息也是行為序列中比較重要的side information信息。因此，本文針對歷史序列中的行為間隔信息進行建模。

圖片

對于行為序列，提取兩兩item之間的時間間隔，形成一個行為間隔矩陣。每一個用戶的序列，使用這個用戶最小的時間間隔進行對所有時間間隔做歸一化，并對最大時間間隔進行截斷。這個時間間隔信息的核心使用在于attention部分的計算。在attention中需要計算兩兩item之間的注意力打分，會在基礎(chǔ)的attention計算基礎(chǔ)上，引入這個item間的時間間隔信息。

圖片

3.解耦長短期興趣的序列建模

論文標題：Disentangling Long and Short-Term Interests for Recommendation（WWW 2022）

這篇文章是清華和快手聯(lián)合發(fā)表的序列推薦工作，核心點是將歷史興趣序列中的長期興趣和短期興趣解耦開，分別建模，在預(yù)測階段使用一定的比例融合長期和短期興趣。長期興趣隨著時間不會發(fā)生明顯變化，比較穩(wěn)定，而短期興趣會隨著時間推移出現(xiàn)一定的變化，新興趣可能出現(xiàn)，老興趣可能消失。

為了實現(xiàn)這種長短期興趣的解耦建模，文中采用2個獨立的Encoder分別建模長期和短期序列。對于長期序列，由于對于用戶來說是穩(wěn)定不變的，使用user的embedding作為query，和歷史序列item計算attention后進行融合，得到長期興趣表示。對于短期興趣，使用RNN建模行為序列變化。

為了實現(xiàn)長期和短期興趣的解耦，文中引入了一種自監(jiān)督的方式。使用整個歷史序列的mean pooling作為長期興趣的錨點，使用最近幾個行為序列的mean pooling作為短期興趣的錨點，讓長期Encoder和短期Encoder的表征，分別和長期興趣錨點與短期興趣錨點更接近。

圖片

4.基于自監(jiān)督圖學(xué)習(xí)的序列建模

論文標題：SelfGNN: Self-Supervised Graph Neural Networks for Sequential Recommendation（SIGIR 2024）

這篇文章是北大和港大聯(lián)合發(fā)表的工作，引入了自監(jiān)督圖學(xué)習(xí)的方法更好的進行序列推薦建模。核心思路是引入不同用戶行為序列的關(guān)系建模，使得模型對于單獨用戶行為序列中的噪聲更具魯棒性。

文中將用戶和item直接的關(guān)系，按照一定的時間間隔分割成多個片段，每個片段都能構(gòu)建成一個user-item的短期興趣圖。對于每一個興趣圖，使用多層LightGCN進行簡單的鄰居節(jié)點信息匯聚，得到每個user和item的圖表征。接下來基于圖表征，使用GRU和self-attention，分別提取interval-level和instance-level的表征。前者在每個時間步內(nèi)使用GRU+self-attention建模user和item的短期興趣關(guān)系，并通過sum pooling得到整體的長周期興趣表征；后者直接在用戶的序列維度使用self-attention計算表征。最后的預(yù)測融合interval-level和instance-level的表征給出預(yù)估結(jié)果。

圖片

圖片

為了緩解用戶短期行為中的噪聲，文中提出一種自監(jiān)督的去噪方法。在訓(xùn)練過程中采樣2對user-item對，對于一個user和一個item的長期興趣表征和短期時間表征，分別計算出長期興趣score和短期興趣score，在損失函數(shù)中引入約束項，讓兩種方式計算的兩對score的差異盡可能小。