開卷有益，是我們一直以來的認識。閱讀可以幫助人們提高自己的語言能力、學習到新的技能....

閱讀還能夠改善情緒，提高心理健康水平。經(jīng)常閱讀的人有更豐富的常識以及對其他文化更深入的理解。

并且，有研究證實愉悅閱讀與學業(yè)成功相關(guān)。

但在信息爆炸的時代，線上與線下的閱讀資源都十分豐富。讀什么，就成為了一項艱巨的挑戰(zhàn)。

尤其是閱讀的內(nèi)容既要匹配不同的年齡階段，又要引人入勝。

而推薦系統(tǒng)則是這個挑戰(zhàn)的解決方案。它能夠向讀者呈現(xiàn)相關(guān)的閱讀材料，并幫助他們保持閱讀的興趣。

推薦系統(tǒng)的核心是機器學習（Machine learning, ML），它被廣泛應用于構(gòu)建各種類型的推薦系統(tǒng)中：從視頻到圖書，再到電商平臺等。

經(jīng)過訓練的ML 模型可以根據(jù)用戶偏好、用戶參與度和推薦的項目單獨向每個用戶進行推薦，從而改善用戶體驗。

谷歌最新的研究提出了一種考慮到閱讀的社會性質(zhì)（如教育環(huán)境）的有聲讀物內(nèi)容推薦系統(tǒng)：STUDY算法。

由于一個人的同齡人目前正在閱讀的內(nèi)容會對他們感興趣的閱讀內(nèi)容有重大影響，因此，谷歌與Learning Ally進行了合作。

Learning Ally是一家教育非營利組織，擁有一個針對學生的大型精選有聲讀物數(shù)字圖書館，非常適合構(gòu)建社交推薦模型。

這能使模型能夠從有關(guān)學生本地化社交群體的（如教室）實時信息中獲益。

STUDY算法

STUDY算法采用了將推薦內(nèi)容問題建模為點擊率預測問題的方法。

其中模擬用戶與每個特定項目的交互概率取決于：

1）用戶和項目特征

2）該用戶的項目交互歷史序列。

之前的工作表明Transformer模型非常適合建模這個問題。

當單獨處理每個用戶時，模擬交互就成為了一個自回歸序列建模問題。

STUDY算法是通過這一概念框架對數(shù)據(jù)建模，然后對這個框架進行擴展的最終成品。

點擊率預測問題可以對個別用戶過去和未來的項目偏好之間的依賴關(guān)系進行建模，并且可以在訓練時學習用戶之間的相似性模式。

但有一個問題是，點擊率預測的方法無法對不同用戶之間的依賴關(guān)系進行建模。

為此，谷歌開發(fā)了STUDY模型，可以解決自回歸序列建模中無法對閱讀的社會性質(zhì)進行建模的缺陷。

STUDY可以將多個學生在一個課堂上閱讀的書籍序列連接成一個序列，從而在一個模型中收集多個學生的數(shù)據(jù)。

但是，在用Transformer對這種數(shù)據(jù)表示進行建模時，需要仔細研究這種數(shù)據(jù)表征。

在Transformer中，注意力掩碼是控制哪些輸入可用于預測哪些輸出的矩陣。

在序列中使用所有先前的token來為輸出的預測提供信息的模式，會導致上三角形注意力矩陣，它一般會在因果解碼器中被發(fā)現(xiàn)。

然而，由于輸入進STUDY模型的序列不是按時間順序的，盡管它的每個組成子序列都是按時間順序，傳統(tǒng)的因果解碼器也不再適合這種序列。

在試圖預測每個token時,模型不允許注意力轉(zhuǎn)向序列中出現(xiàn)在它之前的每個token；其中一些token可能具有較晚的時間戳，并包含在部署時不可用的信息中。

圖片

因果解碼器中通常使用的注意力掩碼。每一列代表一個輸出，每一列代表一個輸出。矩陣條目在特定位置的值為1（顯示為藍色），表示模型在預測相應列的輸出時可以觀察到該行的輸入，而值為0（顯示為白色）則表示相反。

STUDY 模型以因果轉(zhuǎn)換器為基礎，將三角矩陣注意力掩碼替換為基于時間戳的靈活注意力掩碼，從而允許跨不同子序列的注意力。

與普通轉(zhuǎn)換器相比，STUDY 模型在一個序列中保持一個因果三角注意矩陣，并在不同序列中具有靈活的值，這些值取決于時間戳。

因此，序列中任何輸出點的預測都會參考相對于當前時間點過去發(fā)生的所有輸入點，無論它們是出現(xiàn)在序列中當前輸入點之前還是之后。

這一因果約束非常重要，因為如果在訓練時不執(zhí)行這一約束，模型就有可能學會利用未來的信息進行預測，而這在現(xiàn)實世界的部署中是無法實現(xiàn)的。

圖片

(a)一個具有因果注意力的順序自回歸變換器，它可以單獨處理每個用戶；(b)一個等效的聯(lián)合前向傳遞，其計算結(jié)果與(a)相同；(c)通過在注意力掩碼中引入新的非零值（紫色顯示），允許信息在用戶間流動。為此，研究者允許預測以時間戳較早的所有交互為條件，而不論交互是否來自同一用戶

實驗

谷歌使用Learning Ally數(shù)據(jù)集來訓練STUDY模型，并使用多個基線進行比較。

團隊使用了自回歸點擊率轉(zhuǎn)換解碼器（稱之為「個人」）、k-近鄰基線（KNN）和可比較的社會基線——社會注意力記憶網(wǎng)絡（SAMN）。

他們使用第一學年的數(shù)據(jù)進行訓練，使用第二學年的數(shù)據(jù)進行驗證和測試。

團隊通過測量用戶實際交互的下一個項目，在模型的前n個建議中的時間百分比，來評估這些模型。

除了在整個測試集上對模型進行評估外，團隊還報告了模型在測試集的兩個子集上的得分，這兩個子集比整個數(shù)據(jù)集更具挑戰(zhàn)性。

可以觀察到，學生通常會與有聲讀物進行多次互動，因此，簡單地推薦用戶閱讀的最后一本書，就顯得微不足道。

因此，研究者將第一個測試子集稱為「非延續(xù)」，在這個子集中，我們只考察每個模型在學生與不同于前一次互動的書籍進行互動時的推薦性能。

另外，團隊還觀察到，學生們會重溫他們過去讀過的書，因此，將為每個學生推薦的書本限制在他們過去讀過的書本范圍內(nèi)，就可以在測試集上取得很好的表現(xiàn)。

盡管向?qū)W生推薦他們過去最喜歡的書籍可能有一定的價值，但推薦系統(tǒng)的大部分價值還是來自于向用戶推薦新的、未知的內(nèi)容。

為了衡量這一點，團隊在測試集的子集上對模型進行了評估，在這個子集上，學生們第一次與書目進行交互。我們將這個評估子集命名為「新子集」。

可以發(fā)現(xiàn)，「STUDY 」在幾乎所有評估中，都優(yōu)于其他模型。

圖片

適當分組的重要性

STUDY算法的核心是將用戶分組，并在模型的單次前向傳遞中對同組的多個用戶進行聯(lián)合推斷。

研究人員通過一項消融研究，考察了實際分組對模型性能的重要性。

在提出的模型中，研究人員將同一年級和學校的所有學生進行分組。

然后試驗了由同一年級和同一學區(qū)的所有學生定義的分組，以及將所有學生歸入一個組中，并在每次前向傳遞時使用隨機子集的分組。

研究人員還將這些模型與 「個人」模型進行了比較，以供參考。

研究發(fā)現(xiàn)，使用更本地化的小組更有效，即學校和年級分組優(yōu)于學區(qū)和年級分組。

這支持了一個假設，即研究模式之所以成功，是因為閱讀等活動具有社會性：人們的閱讀選擇很可能與周圍人的閱讀選擇相關(guān)聯(lián)。

在不使用年級對學生進行分組的情況下，這兩種模式的表現(xiàn)都優(yōu)于其他兩種模式（單一小組模式和個人模式）。

這表明，閱讀水平和興趣相似的用戶的數(shù)據(jù)有利于提高模型的性能。

最后，谷歌的這項研究是僅限于假定社交關(guān)系是同質(zhì)的用戶群進行建模的。

參考資料：

https://ai.googleblog.com/2023/08/study-socially-aware-temporally-causal.html