一、結(jié)論寫在前面

論文來(lái)自香港城市大學(xué)、華為諾亞方舟實(shí)驗(yàn)室。

論文標(biāo)題：LLM-enhanced Reranking in Recommender Systems

論文鏈接：??https://arxiv.org/pdf/2406.12433??

重排序是推薦系統(tǒng)中的關(guān)鍵組件，對(duì)精煉推薦算法的輸出起著至關(guān)重要的作用。傳統(tǒng)的重排序模型主要關(guān)注準(zhǔn)確性，但現(xiàn)代應(yīng)用要求考慮多樣性和公平性等額外標(biāo)準(zhǔn)。現(xiàn)有的重排序方法往往在模型層面未能有效地調(diào)和這些多樣化的標(biāo)準(zhǔn)。此外，這些模型由于其復(fù)雜性和不同場(chǎng)景下重排序標(biāo)準(zhǔn)的不同重要性，經(jīng)常面臨可擴(kuò)展性和個(gè)性化的挑戰(zhàn)。

為此，論文介紹了一種基于LLM的自動(dòng)重排序框架，旨在通過(guò)自動(dòng)重排序增強(qiáng)推薦系統(tǒng)。論文方法的核心是開發(fā)一個(gè)通用的節(jié)點(diǎn)結(jié)構(gòu)，用于表示各種方面的需求，并在系統(tǒng)中作為不同的節(jié)點(diǎn)。這種結(jié)構(gòu)有助于構(gòu)建一個(gè)協(xié)調(diào)自動(dòng)重排序過(guò)程的函數(shù)圖，輔以歷史重排序池，便于對(duì)重排序決策進(jìn)行回顧性分析。

此外，使用“目標(biāo)”句子來(lái)指導(dǎo)不同節(jié)點(diǎn)的整合，確?？蚣苣軌騽?dòng)態(tài)地融合多個(gè)方面的需求。這一設(shè)計(jì)使得LLM4Rerank在重排序過(guò)程中展現(xiàn)出卓越的性能、可擴(kuò)展性和個(gè)性化。在三個(gè)廣泛認(rèn)可的工業(yè)數(shù)據(jù)集上的實(shí)驗(yàn)驗(yàn)證，強(qiáng)調(diào)了所提出的LLM4Rerank框架的有效性。

?二、論文的簡(jiǎn)單介紹

2.1 論文的背景?

現(xiàn)有的重排序模型確實(shí)存在幾個(gè)限制。首先，由于這些方面之間存在巨大的語(yǔ)義鴻溝，在模型中全面考慮和平衡多個(gè)方面的復(fù)雜組合是具有挑戰(zhàn)性的。這是因?yàn)槊總€(gè)方面都通過(guò)獨(dú)特的屬性維度審查推薦列表，突出了復(fù)雜的語(yǔ)義關(guān)系和區(qū)別。這種復(fù)雜性突顯了不同方面之間存在的巨大鴻溝。

此外，可擴(kuò)展性問(wèn)題構(gòu)成了另一個(gè)主要障礙，阻礙了單一模型在可能優(yōu)先考慮不同方面或功能規(guī)則的多樣化推薦設(shè)置中的應(yīng)用。當(dāng)引入新的方面或定制重排序規(guī)則（如反向規(guī)則或停止條件）時(shí)，這一挑戰(zhàn)尤為突出，這些規(guī)則在模型開發(fā)之初并未預(yù)料到。

此外，無(wú)法個(gè)性化地融合各種方面進(jìn)一步限制了現(xiàn)有模型的個(gè)性化，正如先前研究所指出的。一旦部署，特定模型在不同方面的輸出傾向是固定的，無(wú)法根據(jù)不斷變化的業(yè)務(wù)或用戶偏好進(jìn)行智能調(diào)整。

為了克服這些障礙，一個(gè)理想的解決方案是構(gòu)建一個(gè)多功能的重新排序框架，該框架能夠同時(shí)考慮多種方面組合和語(yǔ)義細(xì)微差別。這樣的框架能夠靈活適應(yīng)不同情境和用戶需求的獨(dú)特要求，提供一個(gè)更加動(dòng)態(tài)和定制化的重新排序方案。    

              圖1：推薦系統(tǒng)中的排序與重排序過(guò)程

然而，在使用LLMs構(gòu)建重排序框架時(shí)，出現(xiàn)了幾個(gè)重大挑戰(zhàn)。第一個(gè)挑戰(zhàn)涉及確?？蚣芤杂薪M織和靈活的方式進(jìn)行擴(kuò)展，使其能夠容納當(dāng)前的方面需求，同時(shí)也能適應(yīng)潛在的未來(lái)方面。第二個(gè)挑戰(zhàn)圍繞制定一種機(jī)制，能夠根據(jù)特定的推薦設(shè)置或用戶偏好自動(dòng)結(jié)合多樣化的方面需求，最終實(shí)現(xiàn)真正的個(gè)性化。

為了解決這些挑戰(zhàn)，論文提出了LL.M4Kerank，這是一個(gè)創(chuàng)新的重新排序框架，它利用零樣本大型語(yǔ)言模型（LLMs）的力量進(jìn)行更精確的重新排序。具體來(lái)說(shuō)，LLM4Rerank將重新排序中的各種方面要求表示為不同的節(jié)點(diǎn)，使框架能夠以思維鏈（CoT）的方式自動(dòng)整合這些節(jié)點(diǎn)。這種方法的優(yōu)勢(shì)在于：它確保了可擴(kuò)展性，允許無(wú)縫地包含新的節(jié)點(diǎn)以應(yīng)對(duì)新興的方面要求。為了證明這一點(diǎn)，除了準(zhǔn)確性方面，多樣性和公平性方面也被添加到LLM4Rerank建模中。

2.2 框架

這里概述了推薦中重新排序任務(wù)的問(wèn)題公式化，隨后對(duì)LLM4Rerank及其主要組件進(jìn)行了全面概述。

2.2.1 問(wèn)題公式化

重排序任務(wù)在推薦系統(tǒng)中扮演著關(guān)鍵角色。如圖1所示，考慮U為用戶集合，I為可供推薦的物品集合。為清晰起見，本文將每個(gè)用戶和物品分別表示為特征向量（w和i）。初始時(shí)，一個(gè)排序模型生成一個(gè)候選物品列表。為了提高推薦性能，應(yīng)用重排序過(guò)程來(lái)分析\boldsymbol{I}^{r}中物品間的關(guān)系，從而生成K個(gè)物品，從初始列表中。重排序模型的目標(biāo)是優(yōu)化定義的目標(biāo)函數(shù)，以增強(qiáng)用戶-物品的相關(guān)性：    

              圖2：LLM4Rerank的整體結(jié)構(gòu)。輸入首先被導(dǎo)向“準(zhǔn)確性”節(jié)點(diǎn)，該節(jié)點(diǎn)在函數(shù)圖中啟動(dòng)一個(gè)自動(dòng)的節(jié)點(diǎn)到節(jié)點(diǎn)的重排序過(guò)程（a）。不同顏色的節(jié)點(diǎn)（b）代表了重排序過(guò)程中的不同方面或功能步驟，指導(dǎo)大型語(yǔ)言模型（LLM）進(jìn)行決策。一旦“停止”節(jié)點(diǎn)被選為下一個(gè)節(jié)點(diǎn)，一個(gè)完整的重排序過(guò)程就被認(rèn)為完成。最終結(jié)果是基于歷史重排序池（c）中的最近重排序結(jié)果生成的。為簡(jiǎn)化起見，歷史重排序池中的項(xiàng)目列表由項(xiàng)目ID的列表表示。注意，下劃線符號(hào)對(duì)應(yīng)于子圖（b)中的模塊

為了促進(jìn)各種重排序基線之間的公平比較，采用了廣義矩陣分解（GMF）模型作為統(tǒng)一的全局排名模型，遵循先前的研究。這種方法確保所有重排序模型在相同的候選項(xiàng)目列表上操作。

2.2.2 LLM4Rerank概覽

論文介紹提出的重排序框架LLM4Rerank，如圖2所示。該框架接收三種類型的輸入：

用戶信息（user info），包括性別和年齡等特征；

候選項(xiàng)目列表I；

一個(gè)名為“目標(biāo)”的句子，概述了重排序的優(yōu)先方面。    

LLM4Rerank被構(gòu)造成一個(gè)完全連接的函數(shù)圖，不包括“停止”節(jié)點(diǎn)，如圖2（a）所示。每個(gè)節(jié)點(diǎn)代表一個(gè)潛在的重排序步驟，由LLM生成一個(gè)重排序列表，考慮到特定的方面相關(guān)或功能要求，如圖2（b）所示。函數(shù)圖中的每個(gè)邊表示節(jié)點(diǎn)到節(jié)點(diǎn)轉(zhuǎn)換的潛在路徑，確保所有節(jié)點(diǎn)之間的連通性，除了“停止”節(jié)點(diǎn)。為了展示LLM4Rerank的可擴(kuò)展性，論文不僅集成了一個(gè)“準(zhǔn)確性”節(jié)點(diǎn)，還集成了“多樣性”和“公平性”方面節(jié)點(diǎn)以及兩個(gè)功能節(jié)點(diǎn)：“后退”和“停止”，以實(shí)現(xiàn)實(shí)際功能。節(jié)點(diǎn)架構(gòu)精心設(shè)計(jì)，允許LLM順序評(píng)估不同節(jié)點(diǎn)，從而優(yōu)化重排序結(jié)果，全面滿足多個(gè)方面要求。此外，為了防止記憶丟失并增強(qiáng)LLM對(duì)方面組合的評(píng)估，使用了一個(gè)歷史重排序池（圖2（c））。該池按順序記錄每個(gè)節(jié)點(diǎn)的結(jié)果，作為每個(gè)節(jié)點(diǎn)后續(xù)重排序的輔助參考。最終，當(dāng)達(dá)到“停止”節(jié)點(diǎn)時(shí)，重排序過(guò)程完成。

2.2.3 節(jié)點(diǎn)構(gòu)建

為了便于大型語(yǔ)言模型（LLM）對(duì)復(fù)雜方面要求進(jìn)行系統(tǒng)性分析，本結(jié)構(gòu)旨在為特定要求建立明確的節(jié)點(diǎn)。這種安排使得LLM能夠采用思維鏈方法處理這些要求。然而，這種方法面臨兩個(gè)主要挑戰(zhàn)：首先，定制節(jié)點(diǎn)結(jié)構(gòu)以保持可擴(kuò)展性，當(dāng)集成更多要求時(shí)；其次，使LLM能夠自動(dòng)選擇其后續(xù)重排序步驟。

為解決這些挑戰(zhàn)，論文引入了一個(gè)通用的節(jié)點(diǎn)結(jié)構(gòu)。它包括一個(gè)重排序步驟，并配有一個(gè)輔助指示器，該指示器表示由下一節(jié)點(diǎn)名稱識(shí)別的即將到來(lái)的步驟的方向。這種配置允許LLM在LLM4Rerank框架內(nèi)自動(dòng)導(dǎo)航，根據(jù)當(dāng)前可用的信息做出決策。

這概述了論文針對(duì)節(jié)點(diǎn)結(jié)構(gòu)定制化的挑戰(zhàn)，旨在增強(qiáng)LLM4Rerank框架的可擴(kuò)展性的策略。具體而言，論文引入了一種通用的節(jié)點(diǎn)結(jié)構(gòu)，作為所有節(jié)點(diǎn)的基礎(chǔ)，如圖2(b)所示。這種通用節(jié)點(diǎn)代表在LLM考慮下的單步重排序。通用節(jié)點(diǎn)的輸入包括用戶信息的語(yǔ)義表示、候選項(xiàng)目、定義整個(gè)重排序過(guò)程個(gè)性化焦點(diǎn)的“目標(biāo)”句子，以及如果可用的話，整個(gè)歷史重排序池。該節(jié)點(diǎn)的輸出分為兩部分：當(dāng)前節(jié)點(diǎn)的即時(shí)重排序結(jié)果，由項(xiàng)目ID列表表示，與當(dāng)前節(jié)點(diǎn)的名稱一起整合到歷史重排序池中，作為后續(xù)步驟的參考。此外，還產(chǎn)生了一個(gè)指示器（即本文中的下一個(gè)節(jié)點(diǎn)的名稱），指定下一個(gè)用于重排序的節(jié)點(diǎn)，從而實(shí)現(xiàn)自動(dòng)的逐步過(guò)程。在每個(gè)節(jié)點(diǎn)內(nèi)部，LLM4Rerank首先根據(jù)預(yù)定義模板和當(dāng)前特定的重排序標(biāo)準(zhǔn)及輸入，定制一個(gè)提示。隨后，LLCM4Rerank將與LLM交互，基于生成的提示獲取兩個(gè)輸出。    

方面節(jié)點(diǎn) 為了使LLM能夠執(zhí)行針對(duì)不同方面需求定制的重排序任務(wù)，論文在提出的通用節(jié)點(diǎn)結(jié)構(gòu)中采用基于提示的模板方法。這種方法允許實(shí)例化專門用于評(píng)估重排序過(guò)程中不同方面的特定節(jié)點(diǎn)。因此，每個(gè)節(jié)點(diǎn)都被設(shè)計(jì)為系統(tǒng)地處理這些關(guān)鍵方面之一，確保重排序結(jié)果反映出平衡的考慮。在本研究中，為了展示LLM4Rerank的可擴(kuò)展性，論文實(shí)現(xiàn)了三個(gè)專門用于重排序的方面節(jié)點(diǎn)：“準(zhǔn)確性”、“多樣性”和“配對(duì)性”。

?準(zhǔn)確性節(jié)點(diǎn)：該節(jié)點(diǎn)旨在滿足重排序階段最終推薦列表的性能標(biāo)準(zhǔn)。因此，提示模板的設(shè)計(jì)強(qiáng)調(diào)了用戶與物品之間的關(guān)聯(lián)。圖3展示了一個(gè)在該節(jié)點(diǎn)內(nèi)使用的簡(jiǎn)單模板示例。此外，鑒于推薦準(zhǔn)確性的至關(guān)重要性——這是推薦系統(tǒng)中不可或缺的基本方面——準(zhǔn)確性節(jié)點(diǎn)已被確立為L(zhǎng)LM4Rerank框架的起點(diǎn)。因此，每次重排序過(guò)程都以準(zhǔn)確性節(jié)點(diǎn)開始，確保從一開始就對(duì)精確性給予基礎(chǔ)關(guān)注.

?多樣性節(jié)點(diǎn)：該節(jié)點(diǎn)專門設(shè)計(jì)以滿足重排序階段最終推薦列表的多樣性標(biāo)準(zhǔn)。在本研究中，論文通過(guò)評(píng)估最終列表中特定物品屬性的變化程度來(lái)評(píng)估重排序結(jié)果的多樣性。為此，論文采用了-NDCG指標(biāo)。因此，圖4描繪了多樣性節(jié)點(diǎn)中使用的模板的一個(gè)示例。

?公平性節(jié)點(diǎn)：該節(jié)點(diǎn)旨在滿足重排序階段最終推薦列表中的公平性目標(biāo)。在論文的研究中，推薦結(jié)果的公平性被操作化為兩個(gè)樣本組之間平均分?jǐn)?shù)差異，這兩個(gè)樣本組根據(jù)一個(gè)明顯的特征進(jìn)行區(qū)分，并使用平均絕對(duì)偏差（MAD）指標(biāo)進(jìn)行評(píng)估（Zhu, Hu, and Caverlee 2018）。鑒于LLM本質(zhì)上生成的是重排序列表而非數(shù)值分?jǐn)?shù)，論文為最終推薦列表中的項(xiàng)目分配線性范圍從1到0的分?jǐn)?shù)。隨后，這些分?jǐn)?shù)用于計(jì)算MAD以評(píng)估公平性。對(duì)于深入的方法論闡述，讀者可參考第.節(jié)。圖S提供了一個(gè)簡(jiǎn)單的公平性節(jié)點(diǎn)模板示例。    

圖3：準(zhǔn)確性節(jié)點(diǎn)的示例提示模板

圖4：多樣性節(jié)點(diǎn)的示例提示模板

功能性節(jié)點(diǎn)：最近的重新研究已經(jīng)證明了反思在優(yōu)化LLMs輸出中的有效性。為了增強(qiáng)LLM4Rerank在重排序過(guò)程中的邏輯能力并引入專門功能，論文開發(fā)了兩個(gè)功能性節(jié)點(diǎn)，專門用于促進(jìn)重排序序列中的反思和終止。    

?反向節(jié)點(diǎn)：該節(jié)點(diǎn)使LLM能夠在評(píng)估先前的重排序努力時(shí)，有選擇地忽略被認(rèn)為是次優(yōu)的重排序結(jié)果。在此框架內(nèi)，LLM4Rerank從歷史重排序池中刪除最新的重排序結(jié)果，并推進(jìn)到一個(gè)公平性節(jié)點(diǎn)模板的示例后續(xù)節(jié)點(diǎn)根據(jù)LLM輸出指令確定。該節(jié)點(diǎn)的操作示例模板如圖6所示。

?停止節(jié)點(diǎn)：此節(jié)點(diǎn)控制LLM4Rerank輸出序列的終止。當(dāng)LLM4Rerank指定此節(jié)點(diǎn)作為輸入步驟時(shí)，表示完整的重新排名過(guò)程的結(jié)束。隨后，此節(jié)點(diǎn)從歷史重新排名池中提取最近的重新排名結(jié)果，并將其呈現(xiàn)為最終的重新排名結(jié)果。需要注意的是，由于此節(jié)點(diǎn)僅功能性地標(biāo)志著重新排名的結(jié)束，并不需要訪問(wèn)LLM，因此此節(jié)點(diǎn)不需要提示模板。

圖5：公平性節(jié)點(diǎn)的示例提示模板    

              圖6：后向節(jié)點(diǎn)示例提示模板

2.2.4自動(dòng)重新排名過(guò)程

為了利用LLM基于多樣化的方面要求進(jìn)行重新排名，論文設(shè)計(jì)了不同的節(jié)點(diǎn)，每個(gè)節(jié)點(diǎn)針對(duì)特定的方面標(biāo)準(zhǔn)。然而，為每個(gè)重新排名任務(wù)預(yù)定義從一個(gè)節(jié)點(diǎn)到另一個(gè)節(jié)點(diǎn)的路徑既低效又難以實(shí)現(xiàn)。因此，為了適應(yīng)獨(dú)特的用戶偏好并顯著提高個(gè)性化，開發(fā)了一個(gè)自動(dòng)重新排名過(guò)程，主要包含以下三個(gè)子過(guò)程：

?設(shè)定目標(biāo)：為了適應(yīng)個(gè)性化需求并促進(jìn)LLM4Rerank在不同上下文中的可擴(kuò)展性，手動(dòng)輸入的句子，即“目標(biāo)”，被作為每個(gè)重新排名過(guò)程的初步輸入之一。如圖2所示，“目標(biāo)”指明了特定重新排名過(guò)程的主要焦點(diǎn)。通過(guò)解釋“目標(biāo)”與相應(yīng)節(jié)點(diǎn)之間的語(yǔ)義聯(lián)系，LLM能夠自動(dòng)為任何給定的重新排名任務(wù)選擇最合適的節(jié)點(diǎn)。通過(guò)解釋“目標(biāo)”與相應(yīng)節(jié)點(diǎn)之間的語(yǔ)義聯(lián)系，LLM能夠自動(dòng)為任何給定的重新排名任務(wù)選擇最合適的節(jié)點(diǎn)。

?節(jié)點(diǎn)間自動(dòng)過(guò)渡：對(duì)于每個(gè)節(jié)點(diǎn)，在接收到大型語(yǔ)言模型（LLM）的回復(fù)后，LLM4Rerank會(huì)獲取當(dāng)前的重新排名結(jié)果，并伴隨一個(gè)指示器（即下一個(gè)節(jié)點(diǎn)的名稱），以確保在不同節(jié)點(diǎn)間流暢且自動(dòng)地過(guò)渡。

?停止重新排名的條件：為減少長(zhǎng)時(shí)間不活躍的風(fēng)險(xiǎn)，并解決可能因LLM回復(fù)中未識(shí)別的語(yǔ)義不準(zhǔn)確性導(dǎo)致的錯(cuò)誤，框架內(nèi)設(shè)定了兩個(gè)終止標(biāo)準(zhǔn)。第一個(gè)標(biāo)準(zhǔn)在LLM自動(dòng)識(shí)別“停止”節(jié)點(diǎn)為后續(xù)步驟時(shí)觸發(fā)。第二個(gè)標(biāo)準(zhǔn)在LLM遍歷預(yù)設(shè)數(shù)量的節(jié)點(diǎn)后激活，該數(shù)量由超參數(shù)設(shè)定，不包括“后退”節(jié)點(diǎn)。滿足任一條件即標(biāo)志著重新排名過(guò)程的完成。隨后，該節(jié)點(diǎn)從歷史重新排名池中檢索并呈現(xiàn)最新的重新排名結(jié)果作為最終結(jié)果。    

算法1：LLM4Rerank的整個(gè)自動(dòng)重新排名過(guò)程

通過(guò)應(yīng)用這些子過(guò)程，LLM4Rerank的整個(gè)自動(dòng)重新排名過(guò)程如算法1所示。

2.3實(shí)驗(yàn)

論文在三個(gè)廣泛認(rèn)可的工業(yè)數(shù)據(jù)集上進(jìn)行實(shí)驗(yàn)，探討以下研究問(wèn)題：

表1：所用數(shù)據(jù)集的統(tǒng)計(jì)信息    

?RQ1：LLM4Rerank在準(zhǔn)確性、多樣性和公平性方面與已建立的重新排名基線相比如何？

?RQ2：LM4Rerank能否自動(dòng)識(shí)別并優(yōu)先考慮針對(duì)個(gè)人偏好的特定方面要求的重新排名混合？

?RQ3：LLM4Rerank的自動(dòng)重新排名框架是否明顯優(yōu)于預(yù)定的重新排名路徑？

2.3.1實(shí)驗(yàn)設(shè)置

數(shù)據(jù)集：論文使用三個(gè)廣泛認(rèn)可的公共數(shù)據(jù)集進(jìn)行實(shí)驗(yàn)：ML-1M 1，KuaiRand（KuaiRand-Pure），和Douban-Movie。對(duì)于每個(gè)數(shù)據(jù)集，論文采用文獻(xiàn)中廣泛采用的留一法（He等 2017; Bayer等 2017; Gan等 2021），將數(shù)據(jù)分為訓(xùn)練、驗(yàn)證和測(cè)試集。

根據(jù)先前研究（Lin等 2022），論文選擇廣義矩陣分解（GMF）模型作為全局排名模型，為每個(gè)用戶生成包含20個(gè)項(xiàng)目的候選列表。為確保深度學(xué)習(xí)與LLM基礎(chǔ)模型之間的公平比較，論文排除了缺乏明確語(yǔ)義信息的特征和交互少于五次的用戶。對(duì)于深度學(xué)習(xí)模型，論文使用標(biāo)準(zhǔn)嵌入技術(shù)（Wang等 2021; Guo等 2021）將各種特征轉(zhuǎn)換為向量輸入。相反，對(duì)于LLM基礎(chǔ)模型，特征的語(yǔ)義信息（例如，特征的名稱）被用作輸入。表1展示了預(yù)處理后數(shù)據(jù)集的統(tǒng)計(jì)信息。

基線方法 在本節(jié)中，論文通過(guò)與以下基線方法進(jìn)行比較，評(píng)估LLM4Rerank解決多樣化方面需求的能力：

?GMF將矩陣分解擴(kuò)展到非線性框架中，作為本研究中的主要全局排序方法。GMF的結(jié)果代表了應(yīng)用任何重排序過(guò)程之前的推薦。    

?DLCM通過(guò)使用循環(huán)神經(jīng)網(wǎng)絡(luò)和基于注意力的損失函數(shù)來(lái)理解局部排序動(dòng)態(tài)，旨在主要提高推薦結(jié)果的準(zhǔn)確性，從而增強(qiáng)重排序效果。

?PRM利用具有自注意力機(jī)制的變換器架構(gòu)，通過(guò)識(shí)別項(xiàng)目間的相互影響來(lái)精煉整個(gè)推薦列表，從而專注于提高準(zhǔn)確性。

?MMR旨在平衡查詢相關(guān)性與重排序文檔中的冗余減少，使用最大邊際相關(guān)性得分來(lái)增強(qiáng)推薦結(jié)果中的多樣性方面。

?FastDPP加速了確定性點(diǎn)過(guò)程（DPP）的最大后驗(yàn)（MAP）推斷，促進(jìn)了多樣化推薦集的高效生成。該模型專注于推薦結(jié)果的多樣性方面。

?FairRec引入了一個(gè)公平感知推薦框架，該框架采用分解對(duì)抗學(xué)習(xí)和正交正則化。它旨在減輕與敏感用戶屬性相關(guān)的偏見，從而在不損害整體性能的情況下促進(jìn)推薦的公平性。

?RankGPT研究了LLMs在信息檢索中的排序任務(wù)中的應(yīng)用，采用了一種新穎的指令排列生成方法和滑動(dòng)窗口策略。該模型以其對(duì)準(zhǔn)確性的關(guān)注而著稱。需要注意的是，作為零樣本LLM基線，原始論文中的排列蒸餾方法并未實(shí)現(xiàn)。

?GoT提出了一種思維圖方法，通過(guò)將生成的內(nèi)容結(jié)構(gòu)化為圖來(lái)增強(qiáng)大型語(yǔ)言模型（LLMs）的提示效果。這種方法促進(jìn)了協(xié)同效應(yīng)、思維提煉和反饋回路的整合，使LLM的推理更緊密地與人類的認(rèn)知過(guò)程相一致。與LLM4Rerank不同，GoT遵循預(yù)定的節(jié)點(diǎn)到節(jié)點(diǎn)推理路徑，不考慮歷史數(shù)據(jù)。通過(guò)應(yīng)用固定的路徑，“準(zhǔn)確性-多樣性-公平性-停止”，GoT作為本論文中關(guān)注準(zhǔn)確性、多樣性和公平性結(jié)合的零樣本LLM基準(zhǔn)。

實(shí)現(xiàn)細(xì)節(jié) 在評(píng)估準(zhǔn)確性方面，論文采用了廣泛認(rèn)可的指標(biāo)：命中率（HR）和歸一化折損累積增益（NDCG）。對(duì)于評(píng)估多樣性方面，論文應(yīng)用了常用的指標(biāo)o-NDCG。為了評(píng)估公平性，論文使用了平均絕對(duì)差異（MAD）。MAD的計(jì)算公式為：

對(duì)于多樣性，而“視頻時(shí)長(zhǎng)”——分為小于60,000毫秒和大于60,000毫秒——用于公平性評(píng)估。為了微調(diào)基于深度學(xué)習(xí)的模型以達(dá)到最佳性能，論文將學(xué)習(xí)率設(shè)為0.001，并通過(guò)網(wǎng)格搜索確定最佳超參數(shù)。對(duì)于零樣本LLM基線和LLM4Rerank，選擇Llama-2-13B作為默認(rèn)的LLM主干。

?2.3.2總體性能（RQ1）

這里提供了LCM4Rerank與各種基線在表2中詳細(xì)描述的全面性能比較。比較分析顯示：

?DLCM和PRM在準(zhǔn)確性方面表現(xiàn)出可接受的性能，如IR和NDCG指標(biāo)所示。PRM利用變換器架構(gòu)評(píng)估用戶-物品相關(guān)性，在準(zhǔn)確性上超越了DLCM。

?MMR和FastDPP在增強(qiáng)多樣性方面表現(xiàn)有效，如o-NDCG指標(biāo)量化所示。這些模型通過(guò)強(qiáng)調(diào)物品相似性和列表范圍的多樣性，擅長(zhǎng)多樣化用戶重排列表。

?FairRec 在促進(jìn)公平性方面表現(xiàn)出強(qiáng)大的性能，通過(guò) MAD 指標(biāo)進(jìn)行衡量。通過(guò)分解對(duì)抗學(xué)習(xí)和正交正則化技術(shù)的整合，F(xiàn)airRec 確保了不同用戶群體間的推薦更加公平。    

?RankGPT 展示了出色的性能，突顯了零樣本大型語(yǔ)言模型在重排序任務(wù)中的能力。相反，GoT 采用鏈?zhǔn)剿季S方法，通過(guò)促進(jìn)對(duì)多個(gè)方面的順序分析，取得了更優(yōu)的結(jié)果。

?LLM4Rerank 通過(guò)個(gè)性化“目標(biāo)”設(shè)置和自動(dòng)重排序過(guò)程，顯著超越了基線，驗(yàn)證了其全面的有效性。CLM4Rerank 巧妙地結(jié)合了重排序的各種方面要求，展示了其多功能性。雖然 LLM4Rerank-ADF 在單一方面可能不領(lǐng)先，但其在所有維度的總體平衡性能證實(shí)了將大型語(yǔ)言模型與自動(dòng)重排序框架集成的好處。這種方法通過(guò)語(yǔ)義理解有效地協(xié)調(diào)了不同的方面需求，提供了在準(zhǔn)確性、多樣性和公平性方面的優(yōu)化結(jié)果。

2.3.3 方面組合分析 (RQ2)?

表 4：LLM4Rerank 的消融研究

在本節(jié)中，論文深入探討了旨在評(píng)估 LLM4Rerank 是否能根據(jù)不同的用戶定義“目標(biāo)”自動(dòng)調(diào)整其重排序策略以結(jié)合特定方面要求的實(shí)驗(yàn)。論文對(duì) ML-1M 數(shù)據(jù)集上的 LLM4Rerank 進(jìn)行了測(cè)試，這些測(cè)試在多樣性和公平性方面反映了不同的優(yōu)先級(jí)：

?DF：對(duì)多樣性和公平性方面賦予同等重要性。

?D-F：優(yōu)先考慮多樣性，隨后強(qiáng)調(diào)公平性。

?F-D：優(yōu)先考慮公平性，隨后強(qiáng)調(diào)多樣性。

在本實(shí)驗(yàn)中，最大節(jié)點(diǎn)計(jì)數(shù) MC 設(shè)定為 5。如表 3 所示，結(jié)果表明 LLM4Rerank 能夠根據(jù)不同的“目標(biāo)”熟練調(diào)整其重排路徑，促進(jìn)了對(duì)方面需求的動(dòng)態(tài)加權(quán)整合。這一能力顯著增強(qiáng)了重排過(guò)程的個(gè)性化。    

值得注意的是，“準(zhǔn)確性”節(jié)點(diǎn)在所有重排結(jié)果中始終存在，強(qiáng)調(diào)了每一次重排序列都以準(zhǔn)確性節(jié)點(diǎn)開始。這一初始步驟確保了用戶-物品匹配的基礎(chǔ)準(zhǔn)確性得以保持。

此外，觀察到在針對(duì)不同“目標(biāo)”的 LLM 偏好路徑中，優(yōu)先考慮的方面占主導(dǎo)地位，這表明 LLM4Rerank 框架能夠驅(qū)動(dòng) LLM 思考并捕捉“目標(biāo)”中方面的重要性關(guān)系，并影響 LLM 的推理焦點(diǎn)。

另外，可以注意到，很少有推理路徑因?yàn)橥评砉?jié)點(diǎn)達(dá)到其最大值而結(jié)束。這表明在當(dāng)前設(shè)置下，使用 3 個(gè)不同的方面節(jié)點(diǎn)，3-4 個(gè)思考步驟足以讓 LLM 自然地給出結(jié)果。

2.3.4 消融研究 (RQ3)?

論文在 ML-1M 數(shù)據(jù)集上進(jìn)行消融研究，以闡明 LLM4Rerank 各組件對(duì)整體性能的影響。實(shí)驗(yàn)旨在通過(guò)系統(tǒng)地移除某些特征來(lái)剖析模型的架構(gòu)，從而突出它們各自的貢獻(xiàn)。論文以“準(zhǔn)確性”方面為例進(jìn)行研究，并將論文的調(diào)查與特定的“目標(biāo)”對(duì)齊：關(guān)注準(zhǔn)確性方面。以下是用于比較的 LLM4Rerank 的變體：

?LLM4Rerank-A：如表 2 所示，包括所有子結(jié)構(gòu)并專注于準(zhǔn)確性方面。

?無(wú)歷史重排池 (-H)：排除歷史重排池，移除了參考先前重排結(jié)果的能力。

?無(wú)自動(dòng)重排序（-AR）：采用靜態(tài)重排序路徑 '準(zhǔn)確性-準(zhǔn)確性-停止'。

?無(wú)其他方面節(jié)點(diǎn)（-N）：省略除“準(zhǔn)確性”和“停止”節(jié)點(diǎn)外的所有節(jié)點(diǎn)。

根據(jù)表4的發(fā)現(xiàn)，論文得出以下結(jié)論：

?缺乏歷史重排序池（LLM4Rerank-IH）導(dǎo)致性能顯著下降，強(qiáng)調(diào)了在序列決策中整體視角的重要性。此功能使LLM4Rerank能夠回憶和評(píng)估先前的選擇，增強(qiáng)了模型的戰(zhàn)略深度。

?移除自動(dòng)重排序過(guò)程（LLM4Rerank-AR）導(dǎo)致性能大幅下降，證實(shí)了適應(yīng)性路徑在應(yīng)對(duì)多樣性方面需求的實(shí)用性。自動(dòng)重排序機(jī)制允許LLM4Rerank根據(jù)當(dāng)前所有信息動(dòng)態(tài)確定后續(xù)步驟，從而優(yōu)化重排序序列。

?消除其他方面和功能節(jié)點(diǎn)（LLM4Rerank-N）同樣導(dǎo)致性能顯著下降。這突顯了全面審查機(jī)制的價(jià)值，如“后退”節(jié)點(diǎn)所促進(jìn)的，模仿人類決策過(guò)程。同時(shí)，與-AR相比，LLM仍能決定在結(jié)束重排序過(guò)程前可以訪問(wèn)此節(jié)點(diǎn)的次數(shù)。性能提升驗(yàn)證了即使LLM4Rerank只有一個(gè)方面節(jié)點(diǎn)，動(dòng)態(tài)節(jié)點(diǎn)訪問(wèn)次數(shù)仍能帶來(lái)益處。    

這些結(jié)果闡明了LLM4Rerank子結(jié)構(gòu)在增強(qiáng)重排序性能中的關(guān)鍵作用，特別是在針對(duì)特定方面焦點(diǎn)定制過(guò)程方面。研究強(qiáng)調(diào)了模型復(fù)雜架構(gòu)的設(shè)計(jì)，旨在靈活整合和平衡各種重排序標(biāo)準(zhǔn)。

2.3.5 案例研究

通過(guò)具體案例研究進(jìn)一步說(shuō)明LLM4Rerank框架的工作原理及其是否能真正平衡重排序的不同方面，如圖7所示。在此圖中，論文報(bào)告了LLM4Rerank在不同“目標(biāo)”下的兩種最常見路徑：第一種（A-D-F）同時(shí)考慮準(zhǔn)確性、多樣性和公平性；第二種（A-A-B-D）更側(cè)重于準(zhǔn)確性方面，隨后是多樣性方面。

評(píng)估基于特定路徑的平均結(jié)果。從第一種路徑來(lái)看，根據(jù)“目標(biāo)”的指導(dǎo)，LLM4Rerank依次通過(guò)“準(zhǔn)確性”、“多樣性”和“公平性”節(jié)點(diǎn)，然后結(jié)束重排序。在多樣性重排序步驟后，不僅“-NDCG”指標(biāo)提高，“fIR”和“NDCG”指標(biāo)也有所提升。這可能是因?yàn)樵趯?shí)驗(yàn)中，LLM不僅考慮當(dāng)前方面，還考慮歷史重排序結(jié)果來(lái)綜合當(dāng)前重排序。

此外，“o-NDCG”與“NDCG”指標(biāo)之間的正相關(guān)關(guān)系在同時(shí)考慮兩者時(shí)也可能影響方面結(jié)果。從第二種路徑可以看出，功能節(jié)點(diǎn)如“后退”的加入幫助LLM更系統(tǒng)地思考。當(dāng)它感知到在連續(xù)訪問(wèn)“準(zhǔn)確性”節(jié)點(diǎn)后多樣性方面幾乎沒有變化時(shí)，它考慮返回到前一步并將下一步設(shè)置為多樣性節(jié)點(diǎn)。

              圖7：LLM4Rerank在ML-1M數(shù)據(jù)集上的案例研究。該圖展示了LLM4Rerank在兩個(gè)“目標(biāo)”下的最常見路徑。評(píng)估基于特定路徑上的平均結(jié)果    

              圖8：在ML-1M數(shù)據(jù)集上使用LCM4Rerank-ADF對(duì)“候選項(xiàng)數(shù)量”超參數(shù)的分析

2.3.6 超參數(shù)分析

近期研究揭示了大型語(yǔ)言模型（LLMs）在全面處理包含密集信息的長(zhǎng)上下文時(shí)所面臨的挑戰(zhàn)。隨著排名序列中候選項(xiàng)數(shù)量的增加，語(yǔ)義信息的量也隨之增加，可能會(huì)使LLMs不堪重負(fù)。這可能解釋了當(dāng)零射擊LLMs直接應(yīng)用于包含數(shù)百萬(wàn)項(xiàng)的推薦系統(tǒng)時(shí)觀察到的效能下降。鑒于此，本節(jié)探討了超參數(shù)“候選項(xiàng)數(shù)量”（最初固定為20）對(duì)ML-1M數(shù)據(jù)集內(nèi)重排性能的影響，如圖8所示，使用LLM4Rerank-ADF進(jìn)行演示。

研究結(jié)果表明，隨著“候選項(xiàng)數(shù)量”的增加，LLM4Rerank在各個(gè)方面的性能都有所下降。這一結(jié)果不僅突顯了LLMs在解析長(zhǎng)上下文方面的當(dāng)前局限性，而且強(qiáng)化了它們?cè)谛枰?jiǎn)潔上下文信息的任務(wù)中的能力，如重排，而不是直接應(yīng)用于廣泛的推薦或排名框架。通過(guò)限制項(xiàng)的數(shù)量并專注于單一請(qǐng)求內(nèi)的豐富語(yǔ)義內(nèi)容，LLM4Rerank有效地縮小了不同方面需求之間的語(yǔ)義鴻溝，從而提供了更連貫的重排結(jié)果，增強(qiáng)了整體推薦質(zhì)量。    

本文轉(zhuǎn)載自 ??AI帝國(guó)??，作者： 無(wú)影寺