今天這篇文章介紹的主題是推薦系統(tǒng)中，基于兩階段的超長(zhǎng)周期用戶(hù)興趣建模系列工作。主要介紹業(yè)內(nèi)比較有代表性的由快手發(fā)表的3篇工作，從2020年最開(kāi)始的SIM首次提出的兩階段行為序列建模方法，到2022年KDD上發(fā)表的TWIN對(duì)兩階段一致性的優(yōu)化，再到2024年CIM上提出的在TWIN基礎(chǔ)上引入層次聚類(lèi)進(jìn)一步釋放長(zhǎng)周期建模能力。

1.背景

在推薦系統(tǒng)的排序模型中，用戶(hù)行為序列建模部分的迭代一直是最核心的收益來(lái)源。用戶(hù)行為序列建模迭代，又可以從空間和時(shí)間兩個(gè)維度進(jìn)行優(yōu)化。在空間上，通過(guò)引入不同類(lèi)型的行為序列、完善行為序列表征、建立不同用戶(hù)行為序列關(guān)系提升信息豐富度；在時(shí)間上，通過(guò)引入更長(zhǎng)周期的歷史序列完整刻畫(huà)用戶(hù)長(zhǎng)周期興趣。

在時(shí)間上的優(yōu)化，一個(gè)核心難點(diǎn)如何解決性能問(wèn)題。隨著引入序列的增長(zhǎng)，模型的計(jì)算時(shí)間會(huì)隨之增長(zhǎng)，很難在線(xiàn)上應(yīng)用。為了解決這個(gè)問(wèn)題，快手提出了一系列基于兩階段的超長(zhǎng)周期行為序列建模方法，其核心思路是將長(zhǎng)周期行為序列拆分成兩個(gè)階段，第一階段使用計(jì)算復(fù)雜度較低的方法快速?gòu)娜芷谛蛄袡z索出可能對(duì)預(yù)測(cè)有幫助的部分，縮短序列長(zhǎng)度，第二階段再使用諸如attention等復(fù)雜模型進(jìn)一步進(jìn)行序列建模。

2.SIM：兩階段建模

行為序列建模的核心是從歷史序列中找到和目標(biāo)item關(guān)系最密切的部分，作為模型的輸入。一般采用attention的方法，但是其在長(zhǎng)周期序列引入中一方面計(jì)算復(fù)雜度高，一方面模型擬合也比較困難。SIM提出了一種兩階段的長(zhǎng)周期建模方法，由General Search Unit和Exact Search Unit兩個(gè)部分組成。General Search Unit用于從長(zhǎng)歷史行為序列中選出和當(dāng)前候選商品最相關(guān)的幾個(gè)子序列，Exact Search Unit用于更精細(xì)的匹配，可以采用類(lèi)似DIEN等的方法。

對(duì)于General Search Unit有hard search和soft search兩種。Hard search比較簡(jiǎn)單，直接選擇和候選商品相同類(lèi)目的歷史行為；Soft search采用向量檢索的方式計(jì)算歷史行為和候選商品的匹配分，其中商品向量采用一個(gè)輔助CTR任務(wù)來(lái)學(xué)習(xí)長(zhǎng)期數(shù)據(jù)和候選廣告之間的相關(guān)性得到。

3.TWIN：提升兩階段一致性

上述兩階段建模的方法中，GSU階段和ESU階段存在不一致問(wèn)題，即GSU篩選的打分和ESU篩選的打分并不是相同的計(jì)算邏輯，導(dǎo)致GSU篩選出的TopK不是全局最優(yōu)解，可能在ESU中認(rèn)為最優(yōu)的結(jié)果在GSU中被過(guò)濾掉了。下圖也展示了這種不一致性?？梢钥闯觯珿SU和ESU的差異還是比較大的，如果能解決二者的一致性問(wèn)題，能帶來(lái)比較大的收益。

為了解決這個(gè)問(wèn)題，TWIN在GSU部分進(jìn)行了改造，讓GSU也進(jìn)行輕量級(jí)的attention計(jì)算提升和ESU的一致性。在GSU部分，將特征分為內(nèi)部特征和交叉特征。內(nèi)部特征指的是item本身的特征，例如商品id、視頻作者等，這部分特征不隨著用戶(hù)交互變化，因此可以直接緩存起來(lái)，線(xiàn)上不用每次都計(jì)算。對(duì)于交叉特征部分，每一維特征都使用一個(gè)全連接層映射成1維。通過(guò)這種方式，將attention計(jì)算的時(shí)間復(fù)雜度從??(?? × (?? + ??) × ????????)降低到??(?? × ??)，其中L為序列長(zhǎng)度，H為內(nèi)在特征維度，C為交叉特征維度，H一般占據(jù)特征的主要部分。

計(jì)算attention的公式如下，query和key使用內(nèi)在特征，交叉特征維度為1，因此這里作為bias加入到attention score的計(jì)算中。

4.TWINV2：聚類(lèi)釋放長(zhǎng)周期潛力

用戶(hù)歷史序列雖然很長(zhǎng)，但是存在很多重復(fù)的信息或者相似的信息，這些重復(fù)或近似的item反應(yīng)了用戶(hù)相似的興趣。TWINV2在TWIN的基礎(chǔ)上，進(jìn)一步通過(guò)聚類(lèi)對(duì)歷史行為序列進(jìn)行重組，縮短歷史序列，提升長(zhǎng)周期建模潛力。

首先，將歷史看過(guò)的視頻根據(jù)其觀(guān)看長(zhǎng)度 / 視頻長(zhǎng)度的比例分成不同的組，每個(gè)組代表用戶(hù)的一種感興趣程度。每個(gè)組內(nèi)，使用層次聚類(lèi)+Kmeans聚類(lèi)，對(duì)item進(jìn)行聚類(lèi)。每個(gè)聚類(lèi)的特征由其類(lèi)內(nèi)item的特征組合而成。對(duì)于數(shù)值特征，使用這個(gè)類(lèi)簇的均值計(jì)算該特征；對(duì)于ID特征，使用距離這個(gè)聚類(lèi)中心最近的item的ID作為該聚類(lèi)簇的特征。在得到歷史序列的聚類(lèi)結(jié)果，以及每個(gè)聚類(lèi)的表征之后，使用和Twin類(lèi)似的ESU+GSU兩階段方法進(jìn)行用戶(hù)興趣建模。

? 圖片 ?

本文轉(zhuǎn)載自 ??圓圓的算法筆記??，作者： Fareise