大模型的輸入并不一定只是文本token序列，它也可以是一切需要提取前后Token相關(guān)性的場景。

近日，谷歌工程師Anushya Subbiah和Vikram Aggarwal在谷歌官方技術(shù)博客刊載他們將Transformer應(yīng)用到音樂推薦的實(shí)踐分享。他們提出了一種音樂推薦系統(tǒng)，該系統(tǒng)使用 Transformer 模型來更好地理解基于當(dāng)前用戶上下文的用戶操作序列行為特性進(jìn)而提升推薦體驗(yàn)。

用戶有比以往任何時(shí)候更多的選擇來收聽音樂。流行的服務(wù)擁有龐大而多樣的類目（catalog）。例如，YouTube 音樂類目在全球擁有超過 1 億首歌曲。因此，類目推薦是這些產(chǎn)品的核心部分。推薦系統(tǒng)使物料類目（item catalog）變得有意義，并且對(duì)于調(diào)整類目以滿足用戶的口味和需求至關(guān)重要。在提供推薦的產(chǎn)品中，用戶對(duì)曲目的操作——例如 跳過，喜歡 或 不喜歡 ——提供了關(guān)于用戶偏好的重要信號(hào)。觀察和學(xué)習(xí)這些行為（action）可以獲得更好的推薦系統(tǒng)。在YouTube Music，利用這些反饋對(duì)于理解用戶的音樂品味至關(guān)重要。

考慮一個(gè)場景，即用戶通常喜歡慢節(jié)奏的歌曲。當(dāng)播放快節(jié)奏的歌曲時(shí)，用戶通常會(huì)跳過它。然而，在健身房進(jìn)行鍛煉時(shí)，他們喜歡更快節(jié)奏的音樂。在這種情況下，我們希望繼續(xù)從他們以前的歷史中學(xué)習(xí)以理解他們的音樂偏好。同時(shí)，我們希望在健身時(shí)推薦音樂時(shí)忽略先前跳過的快節(jié)奏歌曲。

下面我們用圖來解釋用戶的音樂聆聽體驗(yàn)，其中音樂曲目顯示為條目，用戶的操作顯示為下面的文本。在不考慮更廣泛上下文的當(dāng)前推薦系統(tǒng)中，我們預(yù)測用戶會(huì)跳過一首快節(jié)奏的歌曲，從而降級(jí)一個(gè)可能相關(guān)且有價(jià)值的歌曲。

下圖顯示了與之前相同的用戶旅程，但在不同的情況下，其中快節(jié)奏音樂可能更相關(guān)。我們?nèi)匀焕盟麄円郧暗囊魳肥章牃v史，同時(shí)推薦接近他們平常音樂收聽習(xí)慣的快節(jié)奏音樂。實(shí)際上，我們正在學(xué)習(xí)哪些先前的操作在當(dāng)前音樂排序任務(wù)中是相關(guān)的，哪些操作是不相關(guān)的。

一個(gè)典型的用戶將執(zhí)行數(shù)百次 喜歡 ，不喜歡 和 跳過 操作，并且這序列的輸入數(shù)據(jù)雖然信息豐富，但很快變得難以管理。為了增加這種復(fù)雜性，用戶執(zhí)行的操作數(shù)量不同。雖然典型用戶可能有數(shù)百次操作，但用戶行為可能在少量操作和大量操作之間變化，一個(gè)好的排序系統(tǒng)必須能夠靈活處理不同大小的輸入。

在這篇文章中，我們討論了如何應(yīng)用 transformers，它們非常適合處理輸入數(shù)據(jù)的序列，以改進(jìn) YouTube Music 中的推薦系統(tǒng)。該推薦系統(tǒng)包括三大關(guān)鍵階段: 項(xiàng)目檢索，項(xiàng)目排序和過濾。先前的用戶操作通常作為輸入特征添加到排序模型中。我們的方法使用了從生成模型中適應(yīng)的 Transformer 架構(gòu)來理解用戶行為的順序特性，并將其與個(gè)性化排序模型結(jié)合。使用 transformers 根據(jù)當(dāng)前用戶上下文集成不同的用戶操作有助于直接將音樂推薦引導(dǎo)到用戶的當(dāng)前需求。對(duì)于已登錄的用戶，這種方法允許我們?cè)诓幻鞔_識(shí)別用戶歷史記錄中哪些對(duì)排序任務(wù)有價(jià)值的情況下納入用戶的歷史記錄。

檢索，排序和過濾

在現(xiàn)有模型中，很難識(shí)別哪些用戶操作與用戶的當(dāng)前需求相關(guān)。要理解這些模型，我們需要看典型的推薦系統(tǒng)。這些系統(tǒng)通常設(shè)置為三個(gè)不同的階段。首先，檢索 系統(tǒng)從大型語料庫中檢索數(shù)千個(gè)相關(guān)item（文檔，歌曲等）。其次，排序系統(tǒng) 對(duì)檢索結(jié)果進(jìn)行評(píng)估，以便更符合和重要用戶需求的項(xiàng)目獲得更高的分?jǐn)?shù)。排序的主要復(fù)雜性來自于概念之間的價(jià)值判斷，如相關(guān)性，重要性，新穎性，并為這些模糊概念分配數(shù)值。最后，過濾 階段按分?jǐn)?shù)對(duì)排序列表進(jìn)行排序，并將排序后的列表減少為顯示給用戶的簡短列表。在設(shè)計(jì)和部署排序模型時(shí)，從用戶可能執(zhí)行的數(shù)百或數(shù)千個(gè)操作中手動(dòng)選擇并應(yīng)用相對(duì)權(quán)重是非常困難的。

Transformers 理解序列

Transformers 非常適合于需要理解輸入數(shù)據(jù)序列的一類問題。雖然 transformers 已經(jīng)用于改進(jìn)排序功能，但之前的方法并未關(guān)注用戶行為: Transformer 模型如 RankFormer 使用項(xiàng)目候選者（而不是用戶操作）作為輸入，經(jīng)典語言transformers 如 BERT用于排序語言輸出，或者 BERT-like 模型用于推薦，如 Bert4Rec。

Transformer 架構(gòu)由自注意力層組成，能夠理解順序輸入。Transformer 模型在翻譯或分類任務(wù)中展現(xiàn)了驚人的性能，即使在輸入文本模棱兩可的情況下也是如此。自注意力層捕捉句子中文本單詞之間的關(guān)系，這表明它們也可能解決用戶行為之間的關(guān)系。transformers 中的注意層學(xué)習(xí)輸入（tokens）之間的注意權(quán)重，這類似于輸入句子中文單詞之間的關(guān)系。

這就是我們?nèi)绾问褂?Transformer 架構(gòu)來編碼 YouTube Music 上的用戶行為。在上述涉及快節(jié)奏音樂的用戶旅程中，我們看到了一些操作比其他操作重要性較低。例如，當(dāng)用戶在健身房聽音樂時(shí)，用戶可能更喜歡通常會(huì)跳過的高能量快節(jié)奏音樂，因此相關(guān)操作（例如在本示例中的跳過操作）應(yīng)獲得較低的注意權(quán)重。然而，當(dāng)用戶在其他環(huán)境中聽音樂時(shí)，用戶的操作應(yīng)得到更多的關(guān)注。應(yīng)根據(jù)用戶執(zhí)行的活動(dòng)來確定應(yīng)用于音樂上下文和用戶音樂歷史的注意權(quán)重。例如，當(dāng)用戶在健身房時(shí)，他們可能會(huì)聽更快節(jié)奏的音樂，但不會(huì)離他們平常聽的音樂太遠(yuǎn)?；蛘弋?dāng)他們?cè)陂_車時(shí)，他們可能更喜歡探索更多新音樂。

Transformers 在 YouTube Music 中的排序應(yīng)用

我們的架構(gòu)將 Transformer 與現(xiàn)有排序模型結(jié)合，以學(xué)習(xí)最好地結(jié)合用戶操作與聆聽歷史的綜合排序（見下圖）。在此圖中，信息從底部流向頂部: Transformer 的輸入顯示在底部，產(chǎn)生的排序分?jǐn)?shù)顯示在頂部?！癷tem”在這里是我們希望排序的音樂曲目，目標(biāo)是為給定的每個(gè)音樂“item”生成一個(gè)排序分?jǐn)?shù)，并將其他信號(hào)（也稱為特征）作為輸入提供。

聯(lián)合音樂推薦任務(wù)中的 Transformers 和 Ranker

以下是描述每個(gè)時(shí)間步驟的用戶操作的信號(hào):

操作意圖: 中斷音樂曲目，選擇要收聽的音樂曲目，自動(dòng)播放。

行動(dòng)的顯著性: 播放了音樂曲目的比例，距離上一次用戶操作的時(shí)間。

其他元數(shù)據(jù): 藝術(shù)家，音樂的語言。

音樂曲目: 與用戶操作對(duì)應(yīng)的音樂曲目標(biāo)識(shí)符。

與用戶操作對(duì)應(yīng)的音樂曲目用稱為曲目嵌入的數(shù)字向量表示。此音樂曲目嵌入用作 Transformer 和現(xiàn)有排序模型的輸入。用戶操作信號(hào)如意圖和元數(shù)據(jù)被轉(zhuǎn)換為與曲目嵌入長度相同的向量。這種操作稱為投影，使我們可以通過簡單地添加兩個(gè)向量: 用戶操作信號(hào)和曲目嵌入來結(jié)合這些信號(hào)，生成 Transformer 的輸入向量（稱為 tokens）。提供給 Transformer 的 tokens 用于評(píng)分檢索的音樂項(xiàng)目?？紤]用戶的歷史時(shí)，我們包括以前的用戶操作和用戶當(dāng)前正在收聽的音樂，因?yàn)閮烧叨疾蹲搅擞袃r(jià)值的用戶上下文。來自 Transformer 的輸出向量與現(xiàn)有排序模型輸入結(jié)合，使用多層神經(jīng)網(wǎng)絡(luò)。Transformer 與排序模型共同訓(xùn)練，以實(shí)現(xiàn)多個(gè)排序目標(biāo)。

離線分析和現(xiàn)場實(shí)驗(yàn)表明，使用這種 Transformer 顯著提高了排序模型的性能，導(dǎo)致跳過率降低和用戶聽音樂時(shí)間增加。跳過較少頻繁表明平均而言，用戶更喜歡推薦。會(huì)話時(shí)間增加表明用戶對(duì)整體體驗(yàn)更滿意。這兩個(gè)指標(biāo)表明用戶對(duì) YouTube Music 的滿意度有所提高。

未來工作

我們看到兩個(gè)主要的機(jī)會(huì)來建立在這項(xiàng)工作的基礎(chǔ)上。第一個(gè)機(jī)會(huì)是在推薦系統(tǒng)的其他部分（例如檢索模型）中適應(yīng)該技術(shù)。我們還在探索如何將先前排序模型中使用的各種非順序特征作為輸入。目前，這些在 Transformer 階段后被組合，我們預(yù)測在 Transformer 內(nèi)部結(jié)合它們將允許在順序特征（如用戶操作）和非順序特征之間實(shí)現(xiàn)改進(jìn)的自注意力，例如藝術(shù)家受歡迎程度，用戶語言，音樂受歡迎度等。

原文鏈接: https://research.google/blog/transformers-in-music-recommendation/

本文轉(zhuǎn)載自 ??AI工程化??，作者： ully