深入探索個(gè)性化推薦新境界 ——《Bayesian Optimization with LLM-Based Acquisition Functions for Natural Language Preference Elicitation》論文解讀

在個(gè)性化推薦系統(tǒng)的構(gòu)建中，如何快速準(zhǔn)確地識(shí)別用戶(hù)偏好始終是一個(gè)挑戰(zhàn)。特別是在冷啟動(dòng)情境下，缺乏用戶(hù)歷史數(shù)據(jù)使得這一任務(wù)更為艱巨?！禕ayesian Optimization with LLM-Based Acquisition Functions for Natural Language Preference Elicitation》這篇論文為我們提供了一種新穎的解決方案，通過(guò)結(jié)合貝葉斯優(yōu)化和大型語(yǔ)言模型（LLM），在自然語(yǔ)言處理（NLP）的框架下進(jìn)行有效的用戶(hù)偏好激發(fā)（PE）。David Eric Austin與Anton Korikov等研究者們提出的PEBOL算法，利用自然語(yǔ)言推理（NLI）技術(shù)來(lái)維持對(duì)用戶(hù)偏好的信念，并采用決策理論策略，如湯普森采樣（TS）和置信上界（UCB），來(lái)指導(dǎo)語(yǔ)言模型查詢(xún)的生成。這一方法在冷啟動(dòng)自然語(yǔ)言偏好激發(fā)對(duì)話(huà)中展現(xiàn)出顯著的性能提升，相較于傳統(tǒng)的單一大型語(yǔ)言模型，PEBOL在10輪對(duì)話(huà)后實(shí)現(xiàn)了高達(dá)131%的準(zhǔn)確率提升。                 通過(guò)這篇文章，您將獲得：

• 前沿技術(shù)：了解如何利用最新的貝葉斯優(yōu)化和LLM技術(shù)來(lái)提升推薦系統(tǒng)的個(gè)性化水平。
• 實(shí)際應(yīng)用：探索PEBOL算法如何在沒(méi)有用戶(hù)歷史數(shù)據(jù)的情況下，通過(guò)自然語(yǔ)言對(duì)話(huà)快速識(shí)別用戶(hù)偏好。
• 性能對(duì)比：見(jiàn)證PEBOL與傳統(tǒng)方法在偏好激發(fā)任務(wù)中的性能差異，以及它是如何在對(duì)話(huà)中動(dòng)態(tài)平衡探索與利用的。加入我們，一起揭開(kāi)個(gè)性化推薦系統(tǒng)新篇章的序幕，探索如何通過(guò)技術(shù)創(chuàng)新提升用戶(hù)體驗(yàn)。

引言：探索自然語(yǔ)言偏好獲取的新方法

在個(gè)性化推薦系統(tǒng)中，如何高效地從用戶(hù)的自然語(yǔ)言（NL）描述中獲取其偏好，是一個(gè)長(zhǎng)期而復(fù)雜的問(wèn)題。傳統(tǒng)的偏好獲取（PE）方法，如貝葉斯優(yōu)化和多臂老虎機(jī)，通常依賴(lài)于用戶(hù)對(duì)項(xiàng)目的直接評(píng)分或比較，這在用戶(hù)對(duì)大多數(shù)項(xiàng)目不熟悉的情況下顯得尤為困難。隨著大型語(yǔ)言模型（LLM）的發(fā)展，我們有了通過(guò)自然語(yǔ)言對(duì)話(huà)進(jìn)行偏好獲取的技術(shù)基礎(chǔ)，但這些模型在進(jìn)行策略性的多輪對(duì)話(huà)查詢(xún)時(shí)往往能力有限，難以有效平衡探索與利用，可能導(dǎo)致過(guò)度關(guān)注已揭示的偏好或低效探索低價(jià)值項(xiàng)目。

本文介紹了一種新的自然語(yǔ)言偏好獲取方法——PEBOL（偏好獲取與貝葉斯優(yōu)化增強(qiáng)的LLM），它通過(guò)自然語(yǔ)言推理（NLI）來(lái)推斷項(xiàng)目偏好，并利用基于決策理論的獲取函數(shù)來(lái)指導(dǎo)查詢(xún)生成，從而在自然語(yǔ)言對(duì)話(huà)中有效地學(xué)習(xí)用戶(hù)的首選項(xiàng)目。這一方法不僅提高了偏好獲取的效率，還通過(guò)貝葉斯優(yōu)化形式化地處理了未知的用戶(hù)偏好，為自然語(yǔ)言偏好獲取領(lǐng)域提供了新的研究框架和方向。

論文標(biāo)題：Bayesian Optimization with LLM-Based Acquisition Functions for Natural Language Preference Elicitation

機(jī)構(gòu)：University of Toronto, Ontario, Canada; University of Waterloo, Ontario, Canada

論文鏈接：https://arxiv.org/pdf/2405.00981.pdf

PEBOL算法介紹：結(jié)合貝葉斯優(yōu)化與大語(yǔ)言模型

PEBOL（Preference Elicitation with Bayesian Optimization augmented LLMs）是一種新穎的自然語(yǔ)言偏好詢(xún)問(wèn)（NL-PE）算法，它通過(guò)結(jié)合貝葉斯優(yōu)化和大型語(yǔ)言模型（LLM）來(lái)推斷用戶(hù)的物品偏好。這種方法首先利用自然語(yǔ)言推理（NLI）在對(duì)話(huà)話(huà)語(yǔ)和物品描述之間進(jìn)行推斷，以維護(hù)貝葉斯偏好信念；其次，引入基于LLM的獲取函數(shù)，其中自然語(yǔ)言（NL）查詢(xún)生成由決策理論策略如湯普森采樣（Thompson Sampling, TS）和置信上界（Upper Confidence Bound, UCB）指導(dǎo)，以平衡探索和利用偏好信念。

1. 貝葉斯優(yōu)化與決策理論的結(jié)合

PEBOL算法將貝葉斯優(yōu)化的原理應(yīng)用于NL-PE場(chǎng)景中，通過(guò)維護(hù)對(duì)用戶(hù)偏好的概率信念來(lái)指導(dǎo)查詢(xún)的生成。這種方法不僅考慮了用戶(hù)的直接反饋，還通過(guò)NLI模型解析用戶(hù)在自然語(yǔ)言交互中的隱含偏好。

2. LLM的應(yīng)用與優(yōu)化

在PEBOL中，LLM用于生成針對(duì)特定物品描述的查詢(xún)，這些查詢(xún)旨在通過(guò)詢(xún)問(wèn)用戶(hù)對(duì)某些特征的偏好來(lái)揭示用戶(hù)的興趣。例如，系統(tǒng)可能會(huì)詢(xún)問(wèn)用戶(hù)是否喜歡具有“愛(ài)國(guó)主義”主題的電影。此外，LLM在每一輪對(duì)話(huà)中都會(huì)根據(jù)當(dāng)前的貝葉斯信念狀態(tài)，選擇性地引入新的物品描述，以?xún)?yōu)化查詢(xún)的相關(guān)性和效率。

實(shí)驗(yàn)設(shè)計(jì)與方法

為了評(píng)估PEBOL算法的有效性，我們?cè)O(shè)計(jì)了一系列控制實(shí)驗(yàn)，通過(guò)模擬的NL-PE對(duì)話(huà)在多個(gè)自然語(yǔ)言物品數(shù)據(jù)集上測(cè)試算法的表現(xiàn)，并與單體GPT-3.5 NL-PE方法進(jìn)行比較。

1. 實(shí)驗(yàn)設(shè)置

實(shí)驗(yàn)通過(guò)模擬用戶(hù)與系統(tǒng)的交互來(lái)進(jìn)行，其中用戶(hù)的偏好被系統(tǒng)未知，系統(tǒng)需要通過(guò)連續(xù)的對(duì)話(huà)輪次來(lái)逐步學(xué)習(xí)和推斷這些偏好。每個(gè)實(shí)驗(yàn)?zāi)M100個(gè)用戶(hù)，每個(gè)用戶(hù)偏好一個(gè)特定物品，系統(tǒng)的目標(biāo)是在對(duì)話(huà)中盡可能準(zhǔn)確地識(shí)別出這些物品。

2. 數(shù)據(jù)集與模擬用戶(hù)

我們使用三個(gè)真實(shí)世界的數(shù)據(jù)集：MovieLens 25M、Yelp和Recipe-MPR。這些數(shù)據(jù)集提供了豐富的物品描述，包括電影標(biāo)題、餐廳描述和食譜信息，適合用于測(cè)試NL-PE系統(tǒng)的性能。

3. 性能評(píng)估

系統(tǒng)的性能通過(guò)多種指標(biāo)評(píng)估，包括在10輪對(duì)話(huà)后的平均精確率（MAP@10）。此外，我們還考察了系統(tǒng)在不同用戶(hù)噪聲水平下的表現(xiàn)，以及不同獲取策略（如TS、UCB和熵減）對(duì)性能的影響。

通過(guò)這些實(shí)驗(yàn)，我們能夠詳細(xì)了解PEBOL算法在實(shí)際NL-PE場(chǎng)景中的應(yīng)用效果，以及與現(xiàn)有技術(shù)相比的優(yōu)勢(shì)和潛在的改進(jìn)方向。

實(shí)驗(yàn)結(jié)果與分析

在對(duì)PEBOL（使用貝葉斯優(yōu)化增強(qiáng)的LLM進(jìn)行偏好詢(xún)問(wèn)）與傳統(tǒng)的單體GPT-3.5 NL-PE方法的比較中，我們通過(guò)控制的NL-PE對(duì)話(huà)實(shí)驗(yàn)，對(duì)多個(gè)NL項(xiàng)目數(shù)據(jù)集和用戶(hù)噪聲水平進(jìn)行了數(shù)值評(píng)估。實(shí)驗(yàn)結(jié)果顯示，在10輪對(duì)話(huà)后，PEBOL在MAP@10（最大平均精度@10）指標(biāo)上相比GPT-3.5實(shí)現(xiàn)了高達(dá)131%的提升，盡管PEBOL使用的是一個(gè)較小的400M NLI模型進(jìn)行偏好推斷。

通過(guò)實(shí)驗(yàn)，我們觀察到PEBOL在不同數(shù)據(jù)集上的表現(xiàn)均優(yōu)于MonoLLM。在Yelp數(shù)據(jù)集上，PEBOL的MAP@10提升了131%，在MovieLens上提升了88%，在RecipeMPR上提升了55%。這一結(jié)果表明，PEBOL的增量貝葉斯更新機(jī)制可能使其不太容易犯下災(zāi)難性的錯(cuò)誤。

此外，我們還研究了二元響應(yīng)與概率響應(yīng)的PEBOL表現(xiàn)（PEBOL-B與PEBOL-P）。總體來(lái)看，PEBOL-P的表現(xiàn)更佳，這可能是因?yàn)镻EBOL-B丟棄了來(lái)自蘊(yùn)含概率的寶貴信息。特別是在MovieLens數(shù)據(jù)集上，從第二輪開(kāi)始，概率蘊(yùn)含的MAP提升至少為34%，盡管在Yelp上，使用二元更新的TS與最佳概率方法表現(xiàn)相當(dāng)。

討論P(yáng)EBOL的優(yōu)勢(shì)與局限

優(yōu)勢(shì)：

1. 效率提升：PEBOL在多輪對(duì)話(huà)中顯著提高了推薦的準(zhǔn)確性，特別是在處理大量數(shù)據(jù)集時(shí)，與傳統(tǒng)的單體LLM方法相比，顯示出更快的學(xué)習(xí)和適應(yīng)用戶(hù)偏好的能力。
2. 探索與利用的平衡：通過(guò)貝葉斯優(yōu)化策略，PEBOL能夠有效地平衡探索和利用，減少了在已知偏好上的過(guò)度聚焦（過(guò)度利用）和在低價(jià)值項(xiàng)目上的資源浪費(fèi)（過(guò)度探索）。
3. 對(duì)話(huà)歷史的有效利用：PEBOL通過(guò)跟蹤對(duì)話(huà)歷史來(lái)避免重復(fù)或無(wú)信息的查詢(xún)，從而提高了系統(tǒng)的整體性能和用戶(hù)體驗(yàn)。

局限：

1. 模型復(fù)雜性：PEBOL的實(shí)現(xiàn)比單體LLM方法更為復(fù)雜，需要整合貝葉斯優(yōu)化和自然語(yǔ)言推理（NLI）模型，這可能增加了系統(tǒng)的開(kāi)發(fā)和維護(hù)難度。
2. 對(duì)NLI模型的依賴(lài)：PEBOL的性能在很大程度上依賴(lài)于NLI模型的準(zhǔn)確性。如果NLI模型的性能不佳，可能會(huì)直接影響PEBOL的推薦效果。
3. 計(jì)算資源需求：盡管PEBOL減少了每輪所需的上下文量，但其仍然需要顯著的計(jì)算資源來(lái)執(zhí)行貝葉斯更新和查詢(xún)生成，這可能限制了其在資源受限環(huán)境下的應(yīng)用。

總體而言，PEBOL通過(guò)結(jié)合貝葉斯優(yōu)化和LLM，為自然語(yǔ)言偏好詢(xún)問(wèn)提供了一個(gè)有效的解決方案，尤其適用于需要從冷啟動(dòng)場(chǎng)景快速學(xué)習(xí)用戶(hù)偏好的應(yīng)用。未來(lái)的研究可以探索如何進(jìn)一步優(yōu)化PEBOL的計(jì)算效率和準(zhǔn)確性，以及如何將這種方法擴(kuò)展到更廣泛的對(duì)話(huà)推薦系統(tǒng)中。

未來(lái)研究方向與PEBOL的潛在改進(jìn)

1. 多項(xiàng)和集合上下文選擇的LLM基礎(chǔ)獲取功能：目前PEBOL系統(tǒng)在查詢(xún)生成策略上主要采用單點(diǎn)選擇策略，即每次只選擇一個(gè)項(xiàng)目描述作為L(zhǎng)LM查詢(xún)生成的基礎(chǔ)。未來(lái)的研究可以探索基于LLM的獲取功能，使用成對(duì)比較或集合選擇的上下文。這種多項(xiàng)上下文選擇能夠生成對(duì)比性查詢(xún)，可能更有效地區(qū)分項(xiàng)目偏好。

2. 會(huì)話(huà)推薦系統(tǒng)中的NL-PE方法整合：將NL-PE方法如PEBOL整合到會(huì)話(huà)推薦系統(tǒng)架構(gòu)中是另一個(gè)研究方向。這類(lèi)系統(tǒng)需要在處理多種任務(wù)（如推薦、解釋和個(gè)性化問(wèn)題回答）的同時(shí)，獲取用戶(hù)在任意系統(tǒng)-用戶(hù)話(huà)語(yǔ)對(duì)上的偏好。因此，算法需要能夠在不僅僅是查詢(xún)和響應(yīng)的基礎(chǔ)上，而是在更廣泛的對(duì)話(huà)上下文中進(jìn)行偏好獲取。

3. 增強(qiáng)模型的解釋性和控制性：盡管PEBOL通過(guò)貝葉斯優(yōu)化增強(qiáng)了LLM的決策理論推理能力，但模型的解釋性和控制性仍有待提高。未來(lái)的工作可以探索如何通過(guò)改進(jìn)模型架構(gòu)或調(diào)整訓(xùn)練過(guò)程來(lái)增強(qiáng)這些方面。

4. 響應(yīng)噪聲對(duì)性能的影響：用戶(hù)響應(yīng)的噪聲是現(xiàn)實(shí)世界應(yīng)用中常見(jiàn)的問(wèn)題。研究PEBOL在不同噪聲水平下的表現(xiàn)，并探索如何優(yōu)化算法以適應(yīng)高噪聲環(huán)境，將是提高系統(tǒng)魯棒性的關(guān)鍵。

總結(jié)：PEBOL在自然語(yǔ)言偏好獲取中的創(chuàng)新應(yīng)用及其意義

PEBOL（偏好獲取與貝葉斯優(yōu)化增強(qiáng)的大型語(yǔ)言模型）代表了在自然語(yǔ)言偏好獲取領(lǐng)域的一項(xiàng)重要?jiǎng)?chuàng)新。它通過(guò)結(jié)合貝葉斯優(yōu)化和大型語(yǔ)言模型（LLM）的優(yōu)勢(shì)，有效地解決了傳統(tǒng)偏好獲取方法在處理自然語(yǔ)言對(duì)話(huà)時(shí)的局限性。PEBOL不僅提高了偏好獲取的效率和準(zhǔn)確性，還通過(guò)其決策理論驅(qū)動(dòng)的查詢(xún)生成策略，優(yōu)化了用戶(hù)交互的質(zhì)量。

PEBOL的核心創(chuàng)新在于其能夠在完全冷啟動(dòng)的設(shè)置中，通過(guò)自然語(yǔ)言對(duì)話(huà)快速準(zhǔn)確地識(shí)別用戶(hù)的最高偏好項(xiàng)。這一點(diǎn)通過(guò)與傳統(tǒng)的單體GPT-3.5方法的對(duì)比實(shí)驗(yàn)得到了驗(yàn)證，其中PEBOL在多個(gè)數(shù)據(jù)集和用戶(hù)噪聲水平上顯示出顯著的性能提升。

此外，PEBOL的設(shè)計(jì)充分考慮了探索與利用之間的平衡，通過(guò)動(dòng)態(tài)調(diào)整查詢(xún)策略來(lái)避免過(guò)度探索低價(jià)值項(xiàng)或過(guò)度利用已知偏好。這種策略的有效性不僅體現(xiàn)在提高推薦準(zhǔn)確性上，也在于提升了用戶(hù)的交互體驗(yàn)，避免了重復(fù)或無(wú)信息量的查詢(xún)。

總之，PEBOL的開(kāi)發(fā)和應(yīng)用展示了利用先進(jìn)的機(jī)器學(xué)習(xí)技術(shù)來(lái)改進(jìn)自然語(yǔ)言處理任務(wù)的巨大潛力。未來(lái)的研究將進(jìn)一步擴(kuò)展這一框架的功能和應(yīng)用范圍，特別是在會(huì)話(huà)推薦系統(tǒng)中的整合使用，以及在更廣泛的自然語(yǔ)言交互場(chǎng)景中的應(yīng)用。

本文轉(zhuǎn)載自?? AI論文解讀??，作者： 柏企