譯者 | 陳峻
審校 | 重樓
現(xiàn)如今，檢索增強(qiáng)生成(Retrieval-augmented generation，RAG)管道已經(jīng)能夠使得大語言模型(Large Language Models，LLM)在其響應(yīng)環(huán)節(jié)中，充分利用外部的信息源了。不過，由于RAG應(yīng)用會針對發(fā)送給LLM的每個請求，都去檢索外部信息，而LLM實(shí)際上已經(jīng)包含了大量無需檢索即可使用的知識，因此整個過程反而顯得效率低下。
那么，我們是否可以通過配置LLM，使其只在內(nèi)部知識不足的情況下，才去使用RAG呢?目前，博爾扎諾大學(xué)(University of Bozen-Bolzano)和布魯諾-凱斯勒基金會(Fondazione Bruno Kessler)的研發(fā)人員開發(fā)的一項(xiàng)“自適應(yīng)LLM(Adapt-LLM，https://arxiv.org/abs/2404.19705)”技術(shù)，可以訓(xùn)練LLM動態(tài)地確定它們是否需要在問題解答任務(wù)中，檢索額外的上下文信息，并避免不必要的外部檢索，來提高LLM應(yīng)用的效率。
記憶與檢索
通常，LLM回答問題的方法主要有兩種。這兩種方法好比閉卷答題與開卷答題：
第一種是依靠在訓(xùn)練過程中獲得的參數(shù)記憶。而這些參數(shù)記憶的局限性在于它需要完全基本語料的訓(xùn)練。你可以通過微調(diào)或少量提示技術(shù)，來提高參數(shù)記憶的性能，從而將模型的注意力集中在相關(guān)參數(shù)上。不過，在模型必須動態(tài)使用新的信息(例如：近期的新聞或是未包含在訓(xùn)練語料庫中的私人信息)的情況下，這種方法并不實(shí)用。
第二種是使用信息檢索器為模型提供上下文信息。而檢索增強(qiáng)生成就屬于這種方法。不過，信息檢索的問題在于，有時模型并不需要額外的上下文信息，其內(nèi)部知識足以回答問題。
而作為人類的我們，使用的卻是混合方法。例如，當(dāng)我們對某個問題的答案了如指掌時，我們便可立即作答。但當(dāng)我們對自己的知識沒有信心時，就會去查找外部來源。目前，一些LLM技術(shù)通過“常見度評分”機(jī)制，來使用此類混合方法。其假設(shè)前提是：當(dāng)問題十分常見時，模型就會利用內(nèi)部記憶知識進(jìn)行回答;而對于不太常見的問題，模型則需要RAG系統(tǒng)的幫助來獲取必要的信息。不過，這種方法往往要求問題附有常見程度的評分，而這并非總能夠獲取到的。
Adapt-LLM
Adapt-LLM框架
顧名思義，Adapt-LLM為了實(shí)現(xiàn)“自適應(yīng)檢索”而訓(xùn)練語言模型，使其能夠自主地決定何時該使用信息檢索系統(tǒng)，來獲取更多的上下文信息。其研發(fā)人員指出：“在這種方法中，如果任務(wù)的解決方案已被編碼在模型的參數(shù)中，它將直接使用由模型生成的解決方案。反之，如果答案沒有被編碼在模型的知識域里，那么就需要借助外部知識來生成答案?！?/p>
就工作流程而言，Adapt-LLM可分為四個步驟：
- 首個包含了問題的提示被發(fā)送給Adapt-LLM模型處。
- 該模型會對提示進(jìn)行評估，以確定是否需要額外的語境，來有效地回答問題。
- 如果模型認(rèn)為不需要額外的上下文，它就會直接根據(jù)參數(shù)存儲做出響應(yīng)。
- 如果Adapt-LLM模型需要額外的上下文，它會返回一個類似的特殊token。然后，應(yīng)用程序可以使用信息檢索器，根據(jù)問題獲取上下文，并將其與原始提示結(jié)合起來。
可見，這種靈活的方法使得模型能夠在利用外部環(huán)境和提供直接答案之間取得平衡。
訓(xùn)練Adapt-LLM
為了訓(xùn)練 Adapt-LLM模型，我們首先需要一個包含了問題、上下文和答案的元組(tuples)數(shù)據(jù)集。然后，針對每個元組，為模型提供并不包含上下文的問題，并指示它在對自己的知識“有信心”時直接回答，而在需要額外上下文時返回 。
如果模型返回了正確的答案，則表明它已掌握了參數(shù)知識，并創(chuàng)建了一個包含問題和答案(但不包含上下文)的新的訓(xùn)練實(shí)例。如果模型返回錯誤的答案，則需要創(chuàng)建兩個訓(xùn)練實(shí)例：一個是包含了問題和 答案的“參數(shù)提示”，另一個是包含了問題、上下文、說明和答案的“上下文提示”。
然后，在包含了這兩種類型示例的數(shù)據(jù)集上，研發(fā)人員對基礎(chǔ)模型進(jìn)行訓(xùn)練，從而形成Adapt-LLM的行為。
Adapt-LLM的測試結(jié)果
研發(fā)人員在PopQA(https://huggingface.co/datasets/akariasai/PopQA)上對Adapt-LLM進(jìn)行了多次測試。此處的PopQA是一個從各種在線平臺上收集問題的數(shù)據(jù)集。他們使用 Llama-2 7B 作為基礎(chǔ)的LLM，并在由 NQ 和 SQuAD 問答數(shù)據(jù)集所創(chuàng)建的Adapt-LLM數(shù)據(jù)集上，對其進(jìn)行了訓(xùn)練。測試完畢后，他們將Adapt-LLM模型與完全不檢索模型、以及始終檢索模型進(jìn)行了比較。
研究結(jié)果表明，Adapt-LLM的表現(xiàn)比只依賴參數(shù)記憶的永不檢索模型要好得多。同時，與始終檢索模型相比，它也能夠減少檢索的使用量，同時當(dāng)其參數(shù)記憶優(yōu)于RAG系統(tǒng)返回的信息時，還能夠提高整體性能。
據(jù)此，研發(fā)人員認(rèn)為“當(dāng)Adapt-LLM決定去檢索額外的信息時，其有上下文的結(jié)果明顯優(yōu)于沒有上下文的結(jié)果。同樣，當(dāng)Adapt-LLM依靠其參數(shù)記憶直接回答問題時，也能提供較高的準(zhǔn)確率?！毖邪l(fā)人員補(bǔ)充道：“這些測試結(jié)果足以表明，該模型能夠有效地分辨出何時檢索信息，以及何時可以在沒有進(jìn)一步語境的情況下回答問題?！?/p>
利與弊
遺憾的是，研發(fā)人員并沒有公布 Adapt-LLM的代碼和模型，因此我們很難去驗(yàn)證他們的實(shí)驗(yàn)結(jié)果。然而，由于這是一項(xiàng)非常實(shí)用的技術(shù)，他們應(yīng)該公布關(guān)于token的使用、及其推理時間等研究結(jié)果。幸運(yùn)的是，該算法實(shí)現(xiàn)起來比較容易，任何人都可以創(chuàng)建自己的 Adapt-LLM版本，進(jìn)而去驗(yàn)證它在各個領(lǐng)域數(shù)據(jù)集上的表現(xiàn)。
作者介紹
陳峻(Julian Chen)，51CTO社區(qū)編輯，具有十多年的IT項(xiàng)目實(shí)施經(jīng)驗(yàn)，善于對內(nèi)外部資源與風(fēng)險實(shí)施管控，專注傳播網(wǎng)絡(luò)與信息安全知識與經(jīng)驗(yàn)。
原文標(biāo)題：Train your LLMs to choose between RAG and internal memory automatically，作者：Ben Dickson
鏈接：https://bdtechtalks.com/2024/05/06/adapt-llm/。
