一、結(jié)論寫(xiě)在前面

論文來(lái)自：清華大學(xué)，西湖大學(xué)，香港中文大學(xué)

論文標(biāo)題：Knowledge Conflicts for LLMs: A Survey

論文鏈接：??https://arxiv.org/pdf/2403.08319??  

論文廣泛探討了知識(shí)沖突，闡明了其分類(lèi)、成因、LLMs對(duì)這些沖突的響應(yīng)方式及可能的解決方案，強(qiáng)調(diào)了在融合上下文知識(shí)和參數(shù)知識(shí)時(shí)所遇到的復(fù)雜挑戰(zhàn)。論文的研究重點(diǎn)是三類(lèi)知識(shí)沖突：上下文-記憶沖突、跨上下文沖突和內(nèi)存內(nèi)沖突。這些沖突顯著影響LLMs的可信度和性能，特別是在現(xiàn)實(shí)世界應(yīng)用中，噪聲和錯(cuò)誤信息普遍存在。通過(guò)分類(lèi)這些沖突，探究其成因，檢查L(zhǎng)LMs在這些沖突下的行為，并回顧現(xiàn)有解決方案，論文旨在為提高LLMs的魯棒性提供策略，從而成為推動(dòng)這一不斷發(fā)展領(lǐng)域研究的重要資源。

?二、論文的簡(jiǎn)單介紹

2.1 論文的背景?

將上下文知識(shí)集成到大型語(yǔ)言模型（LLMs）中能使它們跟上當(dāng)前事件，并生成更準(zhǔn)確的響應(yīng)，但由于豐富的知識(shí)來(lái)源，也存在沖突的風(fēng)險(xiǎn)。上下文與模型參數(shù)化知識(shí)之間的差異被稱為知識(shí)沖突。

論文將知識(shí)沖突分為三種不同類(lèi)型，如圖1所示。如圖1中的例子所示，當(dāng)使用LLM回答用戶問(wèn)題時(shí)，用戶可能為L(zhǎng)LM提供補(bǔ)充提示，而LLM也利用搜索引擎從網(wǎng)絡(luò)上收集相關(guān)文檔以增強(qiáng)其知識(shí)。用戶提示、對(duì)話歷史和檢索到的文檔的組合構(gòu)成了上下文知識(shí)（context）。上下文知識(shí)可能與LLM參數(shù)中包含的參數(shù)化知識(shí)（memory）發(fā)生沖突，論文稱之為上下文-記憶沖突（CM）。在現(xiàn)實(shí)場(chǎng)景中，外部文檔可能充滿噪音甚至是故意制造的錯(cuò)誤信息，這使得它們難以準(zhǔn)確處理和響應(yīng)。論文將各種上下文知識(shí)之間的沖突稱為上下文間沖突（IC）。為了減少回答中的不確定性，用戶可能以不同形式提出問(wèn)題。因此，LLM的參數(shù)化知識(shí)可能對(duì)這些不同表述的問(wèn)題產(chǎn)生不同的回答。這種差異可歸因于LLM參數(shù)中嵌入的沖突知識(shí)，這些沖突源于復(fù)雜多樣的預(yù)訓(xùn)練數(shù)據(jù)集中存在的不一致性。這就產(chǎn)生了論文稱之為記憶內(nèi)沖突（IM）的情況。

知識(shí)沖突最初源于開(kāi)放域問(wèn)答研究。這個(gè)概念在Longpre等人（2021年）的研究中引起了關(guān)注，該研究聚焦于參數(shù)化知識(shí)與外部段落之間的基于實(shí)體的沖突。同時(shí)，多個(gè)段落之間的差異也隨后受到了仔細(xì)審查。隨著大型語(yǔ)言模型（LLMs）的最近出現(xiàn)，知識(shí)沖突引起了極大的關(guān)注。例如，近期研究發(fā)現(xiàn)LLMs既堅(jiān)持參數(shù)化知識(shí)，又容易受到上下文影響，當(dāng)這種外部知識(shí)在事實(shí)上不正確時(shí)，這可能會(huì)產(chǎn)生問(wèn)題?？紤]到這對(duì)LLMs的可信度、實(shí)時(shí)準(zhǔn)確性和穩(wěn)健性的影響，深入理解和解決知識(shí)沖突變得至關(guān)重要。    

論文將知識(shí)沖突的生命周期概念化為導(dǎo)致各種行為的原因，同時(shí)也是源于知識(shí)復(fù)雜本質(zhì)的結(jié)果，如圖2所示。知識(shí)沖突作為原因和模型行為之間的重要中介。例如，它們顯著地導(dǎo)致模型生成事實(shí)上不正確的信息，即所謂的"幻覺(jué)"。論文的研究，以類(lèi)似于弗洛伊德精神分析的方式，強(qiáng)調(diào)了理解這些沖突起源的重要性。盡管現(xiàn)有的分析傾向于人為構(gòu)建這些沖突，但論文認(rèn)為這些分析并未充分解決問(wèn)題的相互關(guān)聯(lián)性。

除了回顧和分析原因和行為之外，論文更深入地提供了解決方案的系統(tǒng)性綜述，這些方案用于最小化知識(shí)沖突的不良后果，即鼓勵(lì)模型展現(xiàn)符合特定目標(biāo)的期望行為（請(qǐng)注意，這些目標(biāo)可能因特定場(chǎng)景而異）?；谂c潛在沖突相對(duì)的時(shí)間，策略分為兩類(lèi)：預(yù)先策略和事后策略。它們之間的關(guān)鍵區(qū)別在于是在潛在沖突出現(xiàn)之前還是之后進(jìn)行調(diào)整。

知識(shí)沖突的分類(lèi)如圖3所示。論文依次討論三種知識(shí)沖突，詳細(xì)說(shuō)明每種沖突的原因、模型行為分析，以及根據(jù)各自目標(biāo)組織的可用解決方案。相關(guān)數(shù)據(jù)集可在表1中找到。    

              圖1 展示了大型語(yǔ)言模型（LLM）可能遇到的三種不同類(lèi)型的知識(shí)沖突，這些沖突源自知識(shí)來(lái)源——無(wú)論是上下文相關(guān)的（I. 上下文，黃色聊天框）還是固有于LLM參數(shù)中的（II. 記憶，藍(lán)色聊天框）。當(dāng)面對(duì)用戶的提問(wèn)（紫色聊天框)，涉及復(fù)雜的知識(shí)沖突時(shí)，LLM需要解決這些差異以提供準(zhǔn)確的回答    

圖2：論文將知識(shí)沖突不僅視為一個(gè)獨(dú)立現(xiàn)象，而且視為連接各種因果觸發(fā)因素（原因）與大型語(yǔ)言模型（LLMs)行為的紐帶。盡管現(xiàn)有文獻(xiàn)主要關(guān)注

分析，論文的調(diào)查系統(tǒng)地觀察這些沖突，提供對(duì)其產(chǎn)生及對(duì)LLMs行為影響的洞察，以及期望行為和相關(guān)解決方案    

              圖 3：知識(shí)沖突的分類(lèi)。論文主要列出了在大語(yǔ)言模型時(shí)代的工作。9 表示預(yù)先解決方案，而 9 表示事后解決方案    

表1：評(píng)估大型語(yǔ)言模型在遇到知識(shí)沖突時(shí)的行為的數(shù)據(jù)集。CM：上下文-記憶沖突，IC：跨上下文沖突，IM：內(nèi)部記憶沖突

2.2 上下文-記憶沖突(Context-Memory Conflict)

上下文-記憶沖突是三種沖突中研究最廣泛的。大型語(yǔ)言模型（LLMs）的特點(diǎn)是其固定的參數(shù)知識(shí)，這是大量相關(guān)處理的結(jié)果。這種靜態(tài)的參數(shù)知識(shí)與外部信息的動(dòng)態(tài)性質(zhì)形成鮮明對(duì)比，后者以快速的速度進(jìn)化。

2.2.1 原因

上下文-記憶沖突的核心源于上下文與參數(shù)知識(shí)之間的差異。論文考慮兩個(gè)主要原因：時(shí)間錯(cuò)位和錯(cuò)誤信息污染。

時(shí)間錯(cuò)位。時(shí)間錯(cuò)位在以往數(shù)據(jù)訓(xùn)練的模型中自然出現(xiàn)，因?yàn)樗鼈兛赡軣o(wú)法準(zhǔn)確反映當(dāng)代或未來(lái)的現(xiàn)實(shí)情況（即部署后的上下文知識(shí)）。這種錯(cuò)位會(huì)隨著時(shí)間的推移降低模型的性能和相關(guān)性，因?yàn)樗赡軣o(wú)法捕捉新的趨勢(shì)、語(yǔ)言使用的變化、文化變遷或知識(shí)更新。研究者指出，時(shí)間錯(cuò)位導(dǎo)致模型在各種 NLP 任務(wù)上的性能下降。此外，由于預(yù)訓(xùn)練范式和擴(kuò)大模型規(guī)模相關(guān)成本的增加，時(shí)間錯(cuò)位問(wèn)題預(yù)計(jì)會(huì)加劇。

先前的工作試圖通過(guò)關(guān)注三種策略來(lái)解決時(shí)間錯(cuò)位問(wèn)題：

?知識(shí)編輯（KE）旨在直接更新現(xiàn)有預(yù)訓(xùn)練模型的參數(shù)知識(shí)。    

?檢索增強(qiáng)生成（RAG）利用檢索模塊從外部資源（如數(shù)據(jù)庫(kù)、網(wǎng)絡(luò)）獲取相關(guān)文檔，以補(bǔ)充模型的知識(shí)而不改變其參數(shù)。

?持續(xù)學(xué)習(xí)（CL）尋求通過(guò)在新數(shù)據(jù)和更新數(shù)據(jù)上持續(xù)預(yù)訓(xùn)練來(lái)更新內(nèi)部知識(shí)。然而，這些緩解時(shí)間錯(cuò)位的方法并非萬(wàn)能。

KE可能引入知識(shí)沖突的副作用，導(dǎo)致知識(shí)不一致（即一種內(nèi)部記憶沖突），甚至可能增強(qiáng)大型語(yǔ)言模型（LLMs）的幻覺(jué)。對(duì)于RAG，由于模型參數(shù)未更新，知識(shí)沖突不可避免（。CL面臨災(zāi)難性遺忘問(wèn)題，并需要大量計(jì)算資源。

Context-Memory Conflict 作為導(dǎo)致上下文記憶沖突的另一個(gè)因素出現(xiàn)，特別是對(duì)于模型已準(zhǔn)確學(xué)習(xí)的時(shí)間不變知識(shí)。對(duì)手通過(guò)在檢索文檔的網(wǎng)絡(luò)語(yǔ)料庫(kù)中引入虛假或誤導(dǎo)性信息來(lái)利用這一漏洞和用戶對(duì)話。后者構(gòu)成實(shí)際威脅，因?yàn)閷?duì)手可以利用諸如提示注入攻擊等技術(shù)。這一漏洞構(gòu)成真實(shí)威脅，因?yàn)槟Ｐ涂赡茉诓患訉彶榈匚掌垓_性輸入的情況下無(wú)意中傳播虛假信息。

研究者觀察到，制造的惡意錯(cuò)誤信息能顯著削弱自動(dòng)化事實(shí)核查系統(tǒng)和開(kāi)放領(lǐng)域問(wèn)答模型的準(zhǔn)確性。此外，近期研究也強(qiáng)調(diào)了模型傾向于迎合用戶觀點(diǎn)，即所謂的“諂媚”，這進(jìn)一步加劇了問(wèn)題。在當(dāng)前的大型語(yǔ)言模型（LLMs）領(lǐng)域，自然語(yǔ)言處理（NLP）社區(qū)對(duì)于LLMs可能產(chǎn)生的錯(cuò)誤信息日益擔(dān)憂。研究者認(rèn)識(shí)到檢測(cè)由LLMs生成的錯(cuò)誤信息所面臨的挑戰(zhàn)。這突顯了在上下文錯(cuò)誤信息的背景下，解決LLMs帶來(lái)的微妙挑戰(zhàn)的緊迫性。

2.2.2 模型行為的分析

LLMs如何處理上下文記憶沖突？本節(jié)將詳細(xì)介紹相關(guān)研究，盡管它們提供了相當(dāng)不同的答案。根據(jù)情景，論文首先介紹開(kāi)放領(lǐng)域問(wèn)答（ODQA）設(shè)置，然后關(guān)注一般設(shè)置。

ODQA：

?在早期的ODQA文獻(xiàn)中，Longpre等人(2021)探討了當(dāng)提供的上下文信息與已學(xué)習(xí)的信息相矛盾時(shí)，問(wèn)答模型如何表現(xiàn)。作者們開(kāi)發(fā)了一個(gè)自動(dòng)化框架，該框架能夠識(shí)別出答案為命名實(shí)體的QA實(shí)例，并將黃金文檔中提及該實(shí)體的部分替換為另一個(gè)實(shí)體，從而創(chuàng)建沖突上下文。這項(xiàng)研究揭示了這些模型過(guò)度依賴參數(shù)知識(shí)的傾向。    

?Chen等人(2022)重新審視了這一設(shè)置，并報(bào)告了不同的觀察結(jié)果，他們指出，在最佳表現(xiàn)設(shè)置中，模型主要依賴于上下文知識(shí)。他們將這種發(fā)現(xiàn)上的差異歸因于兩個(gè)因素。首先，Longpre等人(2021)使用的實(shí)體替換方法可能降低了受干擾段落的語(yǔ)義連貫性。其次，Longpre等人(2021)的研究基于單一證據(jù)段落，而Chen等人(2022)則利用了多個(gè)證據(jù)段落。

?最近，隨著ChatGPT(Ouyang等人, 2022; OpenAI, 2023)和Llama 2(Touvron等人, 2023)等早期大型語(yǔ)言模型的出現(xiàn)，研究人員重新審視了這一問(wèn)題。

?Tan等人(2024)研究了在ODQA設(shè)置中，LLM如何融合檢索到的上下文與生成的知識(shí)，并發(fā)現(xiàn)模型傾向于偏好參數(shù)知識(shí)，這是受到這些生成上下文與輸入問(wèn)題更相似以及檢索信息往往不完整的影響，尤其是在沖突來(lái)源的范圍內(nèi)。

概述：

?Xie等人（2023年）利用大型語(yǔ)言模型（LLMs）生成與記憶知識(shí)相沖突的上下文。他們發(fā)現(xiàn)，語(yǔ)言模型對(duì)與外部證據(jù)高度敏感，即使這些證據(jù)與其參數(shù)化知識(shí)相沖突，只要外部知識(shí)連貫且令人信服。同時(shí)，他們也識(shí)別出LLMs中存在強(qiáng)烈的確認(rèn)偏誤（Nickerson, 1998），即模型傾向于偏愛(ài)與內(nèi)部記憶一致的信息，即使面對(duì)沖突的外部證據(jù)。

?Wang等人（2023g）提出，當(dāng)LLM遇到?jīng)_突時(shí)，理想的行為應(yīng)該是準(zhǔn)確定位沖突并提供明確的答案。他們發(fā)現(xiàn)，盡管LLMs在識(shí)別知識(shí)沖突的存在方面表現(xiàn)良好，但在確定具體的沖突片段并在沖突信息中產(chǎn)生明確答案時(shí)遇到困難。

?Ying等人（2023年）分析了LLMs在沖突情況下的魯棒性，重點(diǎn)關(guān)注兩個(gè)方面：事實(shí)魯棒性（從提示或記憶中識(shí)別正確事實(shí)的能力）和決策風(fēng)格（根據(jù)認(rèn)知理論將LLMs的行為分類(lèi)為直覺(jué)型、依賴型或理性型）。研究發(fā)現(xiàn)，LLMs極易受到誤導(dǎo)性提示的影響，尤其是在常識(shí)知識(shí)的背景下。

?Qian等人（2023年）更系統(tǒng)地評(píng)估了參數(shù)化知識(shí)與外部知識(shí)之間潛在的交互作用，合作知識(shí)圖譜（KG）。他們揭示，當(dāng)面對(duì)直接沖突或詳細(xì)上下文變化時(shí)，LLMs常常偏離其參數(shù)化知識(shí)。    

?Xu等人（2023年）研究了大型語(yǔ)言模型（LLMs）在交互會(huì)話中如何應(yīng)對(duì)知識(shí)沖突。他們的發(fā)現(xiàn)表明，LLMs傾向于偏愛(ài)邏輯結(jié)構(gòu)化的知識(shí)，即使這與事實(shí)準(zhǔn)確性相矛盾。      

2.2.3 解決方案

解決方案根據(jù)其目標(biāo)進(jìn)行組織，即論文期望LLM在遇到?jīng)_突時(shí)表現(xiàn)出的預(yù)期行為。現(xiàn)有的策略可以歸類(lèi)為以下目標(biāo)：忠實(shí)于上下文的策略旨在與上下文知識(shí)保持一致，側(cè)重于上下文優(yōu)先級(jí)。鑒別錯(cuò)誤信息的策略鼓勵(lì)對(duì)可疑上下文持懷疑態(tài)度，傾向于參數(shù)知識(shí)。分離來(lái)源的策略將上下文和知識(shí)分開(kāi)處理，并提供解耦的答案。提高事實(shí)性的策略旨在利用上下文和參數(shù)知識(shí)整合回答，以實(shí)現(xiàn)更真實(shí)的解決方案。

忠實(shí)于上下文。

?微調(diào)。Li等人(2022a)認(rèn)為，LLM應(yīng)優(yōu)先考慮上下文中的任務(wù)相關(guān)信息，并在上下文無(wú)關(guān)時(shí)依賴內(nèi)部知識(shí)。他們將這兩種屬性稱為可控性和魯棒性。他們引入了知識(shí)感知微調(diào)(KAFT)，通過(guò)將反事實(shí)和無(wú)關(guān)上下文納入標(biāo)準(zhǔn)訓(xùn)練數(shù)據(jù)集來(lái)加強(qiáng)這兩種屬性。Gekhman等人(2023)介紹了TrueTeacher，該方法通過(guò)使用LLM對(duì)模型生成的摘要進(jìn)行標(biāo)注，專注于提高摘要的事實(shí)一致性。這種方法有助于保持對(duì)原始文檔上下文的忠誠(chéng)度，確保生成的摘要準(zhǔn)確無(wú)誤，不會(huì)被無(wú)關(guān)或錯(cuò)誤細(xì)節(jié)誤導(dǎo)。DIAL(Xue等人, 2023)專注于通過(guò)直接知識(shí)增強(qiáng)和RLFC(強(qiáng)化學(xué)習(xí)事實(shí)校驗(yàn))來(lái)提高對(duì)話系統(tǒng)的事實(shí)一致性，以準(zhǔn)確地使響應(yīng)與提供的事實(shí)知識(shí)對(duì)齊。

?提示策略。Zhou等人（2023d）探討了通過(guò)專門(mén)的提示策略增強(qiáng)大型語(yǔ)言模型（LLMs）對(duì)上下文的遵守，特別是基于意見(jiàn)的提示和反事實(shí)演示。這些技術(shù)通過(guò)確保LLMs忠實(shí)于相關(guān)上下文，顯著提高了在上下文敏感任務(wù)中的表現(xiàn)，無(wú)需額外訓(xùn)練。

?解碼技術(shù)。Shi等人（2023a）引入了上下文感知解碼（Context-aware Decoding, CAD），通過(guò)放大有無(wú)上下文時(shí)的輸出概率差異來(lái)減少幻覺(jué)，這與對(duì)比解碼（Li等人，20220）的概念相似。CAD通過(guò)有效地優(yōu)先考慮相關(guān)上下文而非模型的先驗(yàn)知識(shí)，特別是在信息沖突的任務(wù)中，增強(qiáng)了LLMs的忠實(shí)度。    

?知識(shí)插件。Lee等人（2022a）提出了持續(xù)更新的問(wèn)答（Continuously-updated QA, CuQA），以提高語(yǔ)言模型（LMs）整合新知識(shí)的能力。他們的方法使用即插即用模塊來(lái)存儲(chǔ)更新的知識(shí)，確保原始模型不受影響。與傳統(tǒng)的持續(xù)預(yù)訓(xùn)練或微調(diào)方法不同，CuQA能夠解決知識(shí)沖突。

?預(yù)訓(xùn)練。ICLM（Shi等人，2023b）是一種新的預(yù)訓(xùn)練方法，擴(kuò)展了LLMs處理跨多個(gè)文檔的長(zhǎng)而多變的上下文的能力。這種方法通過(guò)使模型能夠從更廣泛的上下文中綜合信息，可能有助于解決知識(shí)沖突，從而提高對(duì)相關(guān)知識(shí)的理解和應(yīng)用。

?預(yù)測(cè)事實(shí)有效性。Zhang和Choi（2023）通過(guò)引入事實(shí)持續(xù)時(shí)間預(yù)測(cè)來(lái)識(shí)別并丟棄LLMs中的過(guò)時(shí)事實(shí)，解決了知識(shí)沖突問(wèn)題。這種方法通過(guò)確保遵守最新的上下文信息，提高了在開(kāi)放域問(wèn)答（ODQA）等任務(wù)中的模型性能。

辨別錯(cuò)誤信息（忠于記憶）。

?提示。為了應(yīng)對(duì)錯(cuò)誤信息污染，Pan等人（2023b）提出了諸如錯(cuò)誤信息檢測(cè)和警覺(jué)提示等防御策略，旨在增強(qiáng)模型在潛在錯(cuò)誤信息中保持對(duì)事實(shí)、參數(shù)化信息忠實(shí)的能力。同樣，Xu等人（2023）利用系統(tǒng)提示提醒大型語(yǔ)言模型（LLM）對(duì)潛在錯(cuò)誤信息保持謹(jǐn)慎，并在回應(yīng)前驗(yàn)證其記憶的知識(shí)。這種方法旨在提升LLM保持忠實(shí)性的能力。

?查詢?cè)鰪?qiáng)。Weller等人（2022）利用大型語(yǔ)料庫(kù)中信息冗余性來(lái)防御錯(cuò)誤信息污染。他們的方法涉及查詢?cè)鰪?qiáng)以找到一組多樣化的不太可能被污染的段落，并結(jié)合一種名為“答案冗余信心”（CAR）的方法，該方法比較預(yù)測(cè)答案在檢索上下文中的連貫性。這一策略通過(guò)確保模型在多個(gè)來(lái)源中交叉驗(yàn)證答案的忠實(shí)性來(lái)緩解知識(shí)沖突。訓(xùn)練鑒別器：Hong等人（2023）對(duì)一個(gè)較小的語(yǔ)言模型進(jìn)行微調(diào)，作為鑒別器，并結(jié)合提示技術(shù)，發(fā)展模型的能力以區(qū)分可靠與不可靠信息，幫助模型在面對(duì)誤導(dǎo)性上下文時(shí)保持忠實(shí)。

分離來(lái)源。DisentQA（Neeman等人，2022）訓(xùn)練一個(gè)模型，為給定問(wèn)題預(yù)測(cè)兩種類(lèi)型的答案：一種基于上下文知識(shí)，另一種基于參數(shù)化知識(shí)。Wang等人（2023g）引入了一種方法來(lái)改進(jìn)LLM處理知識(shí)沖突的能力。他們的方法是一個(gè)三步流程，旨在幫助LLM檢測(cè)沖突、準(zhǔn)確識(shí)別沖突段落，并基于沖突數(shù)據(jù)生成明確的、有根據(jù)的回應(yīng)，旨在產(chǎn)生更精確和細(xì)致的模型輸出。    

提高事實(shí)準(zhǔn)確性。Zhang等人（2023e）提出了COMBO框架，該框架通過(guò)匹配兼容的生成和檢索段落來(lái)解決差異。它使用在銀標(biāo)上訓(xùn)練的判別器來(lái)評(píng)估段落兼容性，通過(guò)利用LLM生成的（參數(shù)化）和外部檢索的知識(shí)來(lái)提高開(kāi)放域問(wèn)答（ODQA）的性能。Jin等人（2024a）引入了一種基于對(duì)比解碼的算法，即CD?，該算法在知識(shí)沖突下最大化不同邏輯之間的差異，并校準(zhǔn)模型對(duì)真實(shí)答案的信心。

2.3 上下文間沖突(Inter-Context Conflict)

上下文間沖突在LLMs中體現(xiàn)為整合外部信息源時(shí)出現(xiàn)的問(wèn)題，這一挑戰(zhàn)因RAG技術(shù)的出現(xiàn)而加劇。RAG通過(guò)將檢索到的文檔內(nèi)容整合到上下文中來(lái)豐富LLM的響應(yīng)。然而，這種整合可能導(dǎo)致提供上下文內(nèi)的不一致，因?yàn)橥獠课臋n可能包含相互沖突的信息。

2.3.1 原因

錯(cuò)誤信息。錯(cuò)誤信息一直是現(xiàn)代數(shù)字時(shí)代的一個(gè)重大關(guān)切。RAG的出現(xiàn)引入了一種新的方法，通過(guò)整合外部文檔來(lái)提高LLMs的生成質(zhì)量。雖然這種方法有可能通過(guò)多樣化的知識(shí)源豐富內(nèi)容，但也帶來(lái)了包含錯(cuò)誤信息文檔的風(fēng)險(xiǎn)，如假新聞。此外，已有案例表明AI技術(shù)被用于創(chuàng)建或傳播錯(cuò)誤信息。LLMs的先進(jìn)生成能力加劇了這一問(wèn)題，導(dǎo)致這些系統(tǒng)生成的錯(cuò)誤信息增加。這一趨勢(shì)令人擔(dān)憂，因?yàn)樗粌H助長(zhǎng)了錯(cuò)誤信息的傳播，還挑戰(zhàn)了檢測(cè)由LLMs生成的錯(cuò)誤信息的能力。

過(guò)時(shí)信息。除了錯(cuò)誤信息的挑戰(zhàn)外，認(rèn)識(shí)到事實(shí)隨時(shí)間變化，這一點(diǎn)也很重要。檢索到的文檔可能同時(shí)包含來(lái)自網(wǎng)絡(luò)的更新信息和過(guò)時(shí)信息，導(dǎo)致這些文檔之間出現(xiàn)沖突。            

2.3.2 模型行為分析

性能影響。先前的研究實(shí)證表明，預(yù)訓(xùn)練語(yǔ)言模型的性能可以顯著受到特定上下文中錯(cuò)誤信息（Zhang 和 Choi，2021）或過(guò)時(shí)信息（Du 等人，2022b）的存在的影響。

?在最近的研究中，Pan 等人（2023a）引入了一種錯(cuò)誤信息攻擊策略，涉及創(chuàng)建維基百科文章的偽造版本，隨后將其插入到真實(shí)的維基百科語(yǔ)料庫(kù)中。他們的研究結(jié)果揭示，現(xiàn)有的語(yǔ)言模型容易受到錯(cuò)誤信息攻擊，無(wú)論假文章是手工制作還是模型生成的。    

?為了深入了解LLMs在遇到矛盾上下文時(shí)的行為，Chen 等人（2022）主要使用解碼器中的融合技術(shù)在NQ-Open（Kwiatkowski 等人，2019）和TriviaQA（Joshi 等人，2017）上進(jìn)行實(shí)驗(yàn)。他們發(fā)現(xiàn)，跨知識(shí)源的不一致對(duì)模型的置信度影響最小。這些模型傾向于偏好與查詢直接相關(guān)的上下文和與模型固有參數(shù)知識(shí)一致的上下文。

?Xie 等人（2023）在POPQA（Mallen 等人，2022）和STRATEGYQA（Geva 等人，2021）上對(duì)閉源LLMs和開(kāi)源LLMs進(jìn)行了實(shí)驗(yàn)。得到的結(jié)果與Chen 等人（2022）的結(jié)果一致，表明LLMs對(duì)與模型參數(shù)記憶一致的證據(jù)表現(xiàn)出顯著的偏見(jiàn)。他們還發(fā)現(xiàn)，LLMs傾向于強(qiáng)調(diào)與更高知名度實(shí)體相關(guān)的信息和在給定上下文中由更大體積文檔證實(shí)的答案。

?此外，這些模型對(duì)數(shù)據(jù)引入的順序表現(xiàn)出顯著的敏感性。Jin 等人（2024a）發(fā)現(xiàn)，隨著沖突跳數(shù)的增加，LLMs在推理方面遇到更大的挑戰(zhàn)。

Detection Ability 在評(píng)估大型語(yǔ)言模型（LLMs）面對(duì)矛盾上下文時(shí)的表現(xiàn)之外，多項(xiàng)研究還探討了它們識(shí)別此類(lèi)矛盾的能力。

?鄭等人（2022）檢驗(yàn)了包括BERT、RoBERTa和ERNIE在內(nèi)的多種模型在識(shí)別中文對(duì)話中矛盾陳述的表現(xiàn)。其實(shí)驗(yàn)結(jié)果顯示，識(shí)別對(duì)話中的矛盾語(yǔ)句對(duì)這些模型來(lái)說(shuō)是一個(gè)重大挑戰(zhàn)。

?李等人（2023a）分析了GPT-4、ChatGPT、PaLM-2和Llama 2在識(shí)別新聞文章（Hermann et al., 2015）、故事（Kocisky et al., 2018）及維基百科（Merity et al., 2017）中矛盾文檔的表現(xiàn)。研究者發(fā)現(xiàn)，平均檢測(cè)準(zhǔn)確率不盡如人意。該研究還指出，LLMs在處理特定類(lèi)型的矛盾時(shí)面臨特殊挑戰(zhàn)，尤其是涉及主觀情感或觀點(diǎn)的矛盾。

?此外，文檔的長(zhǎng)度和自相矛盾的多樣性對(duì)檢測(cè)性能的影響較小。萬(wàn)等人（2024）研究了影響LLMs在面對(duì)沖突信息時(shí)評(píng)估文檔可信度的文本特征。他們發(fā)現(xiàn)，現(xiàn)有模型嚴(yán)重偏向于文檔與查詢的相關(guān)性，但往往忽視了人類(lèi)認(rèn)為重要的風(fēng)格特征，如文本中科學(xué)引用的存在或中立語(yǔ)調(diào)。    

?金等人（2024a）發(fā)現(xiàn)，LLMs在區(qū)分真實(shí)信息與虛假信息方面存在困難。此外，他們發(fā)現(xiàn)LLMs傾向于支持在上下文中出現(xiàn)頻率最高的證據(jù)，并對(duì)外部信息表現(xiàn)出確認(rèn)偏誤，這些信息與其內(nèi)部記憶相符。

2.3.3解決方案

消除沖突。專業(yè)化模型。Hsu等人（2021）開(kāi)發(fā)了一種名為成對(duì)矛盾神經(jīng)網(wǎng)絡(luò)（PCNN）的模型，利用微調(diào)的Sentence-BERT嵌入來(lái)計(jì)算文章之間的矛盾概率。Pielka等人（2022）建議將語(yǔ)言學(xué)知識(shí)融入學(xué)習(xí)過(guò)程中，基于發(fā)現(xiàn)XLM-RoBERTa難以有效掌握對(duì)于準(zhǔn)確矛盾檢測(cè)至關(guān)重要的句法和語(yǔ)義特征。Wu等人（2022）提出了一種創(chuàng)新方法，將文本的拓?fù)浔硎菊系秸Z(yǔ)言模型中，以增強(qiáng)矛盾檢測(cè)能力，并在MultiNLI數(shù)據(jù)集（Williams等人，2018）上評(píng)估了他們的方法。

通用模型。Chern等人（2023）提出了一種事實(shí)核查框架，該框架將大型語(yǔ)言模型（LLMs）與各種工具（包括Google搜索、Google Scholar、代碼解釋器和Python）集成，用于檢測(cè)文本中的事實(shí)錯(cuò)誤。Leite等人（2023）利用LLMs為輸入文本生成與預(yù)定義可信度信號(hào)相關(guān)的弱標(biāo)簽，并通過(guò)弱監(jiān)督技術(shù)聚合這些標(biāo)簽，以對(duì)輸入的真實(shí)性做出預(yù)測(cè)。

提高魯棒性。訓(xùn)練方法。Hong等人（2023）提出了一種新穎的微調(diào)方法，涉及同時(shí)訓(xùn)練一個(gè)判別器和一個(gè)解碼器，使用共享的編碼器。此外，作者還引入了另外兩種策略來(lái)提高模型的魯棒性，包括提示GPT-3在生成響應(yīng)之前識(shí)別受擾動(dòng)的文檔，以及將判別器的輸出整合到GPT-3的提示中。他們的實(shí)驗(yàn)結(jié)果表明，微調(diào)方法產(chǎn)生了最令人滿意的結(jié)果。

查詢?cè)鰪?qiáng)技術(shù) 如Augmentin等人（2023）所述，通過(guò)提示GPT-3根據(jù)原始查詢生成新的問(wèn)題。隨后，他們通過(guò)參考檢索到的相應(yīng)段落來(lái)評(píng)估每個(gè)問(wèn)題答案的置信度。基于這種置信度，他們決定是依賴原始問(wèn)題的預(yù)測(cè)，還是匯總來(lái)自增強(qiáng)問(wèn)題且置信度得分高的預(yù)測(cè)。

2.4 內(nèi)部記憶沖突（Intra-Memory Conflict）?

隨著LLMs的發(fā)展，LLMs被廣泛應(yīng)用于知識(shí)密集型問(wèn)答系統(tǒng)（Gao等人，2023b；Yu等人，2022；Petroni等人，2019；Chen等人，2023c）。有效部署LLMs的一個(gè)關(guān)鍵方面是確保它們對(duì)具有相似含義或意圖的各種表達(dá)產(chǎn)生一致的輸出。盡管有此必要，但內(nèi)部記憶沖突——LLMs對(duì)語(yǔ)義上等效但句法上不同的輸入表現(xiàn)出不可預(yù)測(cè)的行為并生成不同響應(yīng)的情況——成為一個(gè)顯著挑戰(zhàn)（Chang和Bergen，2023；Chen等人，2023a；Raj等人，2023；Rabinovich等人，2023；Raj等人，2022；Bartsch等人，2023）。內(nèi)部記憶沖突實(shí)質(zhì)上通過(guò)在其輸出中引入不確定性，削弱了LLMs的可靠性和實(shí)用性。    

2.4.1 原因

LLMs中的內(nèi)部記憶沖突可歸因于三個(gè)主要因素：訓(xùn)練語(yǔ)料庫(kù)偏差（Wang等人，2023d；Xu等人，2022）、解碼策略（Lee等人，2022b；Huang等人，2023）和知識(shí)編輯（Yao等人，2023；Li等人，2023f）。這些因素分別涉及訓(xùn)練階段、推理階段和隨后的知識(shí)精煉。

訓(xùn)練語(yǔ)料庫(kù)中的偏差。最近的研究表明，大型語(yǔ)言模型（LLMs）知識(shí)獲取的主要階段主要發(fā)生在預(yù)訓(xùn)練階段（Zhou et al., 2023a; Kaddour et al., 2023; Naveed et al., 2023; Akyiüirek et al., 2022; Singhal et al., 2022）。預(yù)訓(xùn)練語(yǔ)料庫(kù)主要從互聯(lián)網(wǎng)上爬取，數(shù)據(jù)質(zhì)量多樣，可能包含不準(zhǔn)確或誤導(dǎo)性信息（Bender et al., 2021; Weidinger et al., 2021）。當(dāng)LLMs在包含錯(cuò)誤知識(shí)的數(shù)據(jù)上訓(xùn)練時(shí)，它們可能會(huì)記憶并無(wú)意中放大這些不準(zhǔn)確之處（Lin et al., 2022; Elazar et al., 2022; Lam et al., 2022; Grosse et al., 2023），導(dǎo)致LLMs參數(shù)內(nèi)部沖突知識(shí)并存的情況。

此外，先前的工作表明，LLMs傾向于在其訓(xùn)練數(shù)據(jù)中編碼普遍存在的表面關(guān)聯(lián)，而不是真正理解其中包含的基礎(chǔ)知識(shí)（Li et al., 2022b; Kang and Choi, 2023; Zhao et al., 2023a; Kandpal et al., 2023）。這可能導(dǎo)致LMs表現(xiàn)出一種傾向，即基于訓(xùn)練數(shù)據(jù)的虛假相關(guān)性生成預(yù)定響應(yīng)。由于依賴于虛假相關(guān)性，當(dāng)面對(duì)具有不同句法結(jié)構(gòu)但傳達(dá)相同語(yǔ)義意義的提示時(shí)，LLMs可能會(huì)提供不同的答案。

解碼策略。大型語(yǔ)言模型（LLMs）的直接輸出是對(duì)潛在下一個(gè)詞的概率分布。從這一分布中抽樣是確定生成內(nèi)容的關(guān)鍵步驟。已提出了多種抽樣技術(shù)，包括貪心抽樣、top-p抽樣、top-k抽樣等（Jawahar et al., 2020; Massarelli et al., 2020），大致可分為確定性和隨機(jī)性抽樣方法。隨機(jī)抽樣作為L(zhǎng)LMs普遍采用的解碼策略（Fan et al., 2018; Holtzman et al., 2020）。然而，隨機(jī)抽樣方法的隨機(jī)性引入了生成內(nèi)容的不確定性。此外，由于LLMs固有的從左到右生成模式，抽樣詞的選擇對(duì)后續(xù)生成內(nèi)容具有重大影響。使用隨機(jī)抽樣可能導(dǎo)致LLMs在相同上下文下產(chǎn)生完全不同的內(nèi)容，引發(fā)內(nèi)部記憶沖突（Lee et al., 2022b; Huang et al., 2023; Dziri et al., 2021）。    

知識(shí)編輯。隨著模型參數(shù)的指數(shù)級(jí)增長(zhǎng)，微調(diào)LLMs變得越來(lái)越困難且資源密集。針對(duì)這一挑戰(zhàn)，研究者探索了知識(shí)編輯技術(shù)，作為高效修改LLMs中編碼知識(shí)的一小部分的方法（Meng et al., 2022; Ilharco et al., 2022; Zhong et al., 2023）。確保修改的一致性是一個(gè)重大挑戰(zhàn)。由于編輯方法可能存在的局限性，修改后的知識(shí)無(wú)法有效泛化。這可能導(dǎo)致LLMs在處理不同情境下相同知識(shí)時(shí)產(chǎn)生不一致的響應(yīng)（Li et al., 2023f; Yao et al., 2023）。內(nèi)部記憶沖突主要被視為知識(shí)編輯過(guò)程中的副作用。

備注：大型語(yǔ)言模型（LLMs）中的內(nèi)存內(nèi)部沖突源于三個(gè)不同階段的獨(dú)特原因。在這些原因中，訓(xùn)練語(yǔ)料庫(kù)偏差尤為突出，是這些沖突的根本催化劑。訓(xùn)練數(shù)據(jù)集中知識(shí)的矛盾導(dǎo)致模型參數(shù)內(nèi)編碼的知識(shí)不一致。此外，解碼策略間接加劇了這些沖突。推理過(guò)程中采樣過(guò)程的固有隨機(jī)性放大了模型響應(yīng)中的不一致性。知識(shí)編輯旨在對(duì)模型的知識(shí)進(jìn)行后更新，但可能無(wú)意中將沖突信息引入LLM的內(nèi)存中。

2.4.2 模型行為的分析

自相矛盾。Elazar等人（2021）開(kāi)發(fā)了一種評(píng)估語(yǔ)言模型知識(shí)一致性的方法，特別關(guān)注知識(shí)三元組。研究者主要使用BERT、RoBERTa和ALBERT進(jìn)行實(shí)驗(yàn)。結(jié)果顯示，這些模型的準(zhǔn)確率僅在50%至60%之間，表現(xiàn)出較差的一致性。Hase等人（2023）采用了Elazar等人（2021）相同的指標(biāo)，但使用了更多樣化的數(shù)據(jù)集。他們的研究也揭示了RoBERTa-base和BART-base在改寫(xiě)上下文中的不一致性。Zhao等人（2023b）重新表述問(wèn)題，然后評(píng)估LLM對(duì)這些重新表述問(wèn)題的響應(yīng)的一致性。研究發(fā)現(xiàn)，即使在常識(shí)性問(wèn)答任務(wù)中，GPT-4也顯示出13%的顯著不一致率。他們進(jìn)一步發(fā)現(xiàn)，LLMs在面對(duì)不常見(jiàn)知識(shí)時(shí)更容易產(chǎn)生不一致。Dong等人（2023）對(duì)多個(gè)開(kāi)源LLMs進(jìn)行了實(shí)驗(yàn)，發(fā)現(xiàn)所有這些模型都表現(xiàn)出強(qiáng)烈的不一致性。Li等人（2023d）探討了LLMs可能給出的初始答案與隨后否認(rèn)先前答案的不一致性。研究者專注于閉卷問(wèn)答實(shí)驗(yàn)，揭示了Alpaca-30B僅在50%的情況下表現(xiàn)出一致性。

為了進(jìn)一步分析大型語(yǔ)言模型（LLMs）表現(xiàn)出的不一致性，Li等人（2022b）進(jìn)行的一項(xiàng)研究發(fā)現(xiàn)，基于編碼器的模型更依賴于位置上接近且高度共現(xiàn)的詞匯來(lái)生成錯(cuò)誤的事實(shí)性詞匯，而不是依賴于知識(shí)相關(guān)的詞匯。這種現(xiàn)象是由于這些模型傾向于從訓(xùn)練數(shù)據(jù)集中過(guò)度學(xué)習(xí)不恰當(dāng)?shù)年P(guān)聯(lián)。Kang和Choi（2023）強(qiáng)調(diào)了LLMs中的共現(xiàn)偏差，其中模型傾向于偏好頻繁共現(xiàn)的詞匯而非正確答案，尤其是在回憶事實(shí)時(shí)，即使經(jīng)過(guò)微調(diào)，主題和對(duì)象在預(yù)訓(xùn)練數(shù)據(jù)集中很少共現(xiàn)的情況下。此外，他們的研究表明，即使在微調(diào)過(guò)程中遇到這些事實(shí)，LLMs在主題和對(duì)象很少一起出現(xiàn)在預(yù)訓(xùn)練數(shù)據(jù)集中的情況下回憶事實(shí)仍然面臨挑戰(zhàn)。    

知識(shí)潛表示。當(dāng)代LLMs固有的多層變換器架構(gòu)促進(jìn)了復(fù)雜的內(nèi)部記憶沖突，不同的知識(shí)表示散布在各個(gè)層次。先前的研究建議，LLMs在較淺層次存儲(chǔ)低級(jí)信息，在較深層次存儲(chǔ)語(yǔ)義信息（Tenney et al., 2019; Rogers et al., 2020; Wang et al., 2019; Jawahar et al., 2019; Cui et al., 2020）。Chuang等人（2023）在LLMs的背景下探討了這一點(diǎn)，并發(fā)現(xiàn)LLMs中的事實(shí)知識(shí)通常集中在特定的變換器層和不同層的不一致知識(shí)中。此外，Li等人（20230）發(fā)現(xiàn)，正確的知識(shí)確實(shí)存儲(chǔ)在模型的參數(shù)中，但在生成過(guò)程中可能無(wú)法準(zhǔn)確表達(dá)。作者對(duì)同一LLM進(jìn)行了兩項(xiàng)實(shí)驗(yàn)，一項(xiàng)關(guān)注生成準(zhǔn)確性，另一項(xiàng)使用知識(shí)探針來(lái)檢查知識(shí)的包含情況。這些實(shí)驗(yàn)的結(jié)果顯示，知識(shí)探針準(zhǔn)確性與生成準(zhǔn)確性之間存在顯著的40%差異。

跨語(yǔ)言不一致性 真正的知識(shí)普遍性超越了表面形式的變異（Ohmer 等人，2023），這一原則理想上應(yīng)適用于大型語(yǔ)言模型（LLMs）。然而，LLMs 對(duì)不同語(yǔ)言保持了不同的知識(shí)集，導(dǎo)致了不一致性（Ji 等人，2023）。Wang 等人（2023e）研究了 LLMs 在跨語(yǔ)言擴(kuò)展編輯知識(shí)時(shí)面臨的挑戰(zhàn)，表明與不同語(yǔ)言相關(guān)的知識(shí)在模型參數(shù)中被單獨(dú)存儲(chǔ)。Qi 等人（2023）提出了一種名為 RankC 的度量標(biāo)準(zhǔn)，用于評(píng)估 LLMs 事實(shí)知識(shí)的跨語(yǔ)言一致性。他們利用這一度量分析了多個(gè)模型，并揭示了 LLMs 存儲(chǔ)的知識(shí)中存在明顯的語(yǔ)言依賴性，且隨著模型規(guī)模的增加，跨語(yǔ)言一致性并未觀察到改善。

備注 LLMs 中的內(nèi)存間沖突現(xiàn)象主要通過(guò)對(duì)語(yǔ)義相同查詢的不一致響應(yīng)來(lái)體現(xiàn)。這種不一致性主要?dú)w因于預(yù)訓(xùn)練階段使用的數(shù)據(jù)集質(zhì)量不佳。解決這一挑戰(zhàn)需要開(kāi)發(fā)高效且成本有效的解決方案，這仍然是一個(gè)重大障礙。此外，LLMs 的特點(diǎn)是存在多個(gè)知識(shí)電路，這些電路對(duì)其對(duì)特定查詢的響應(yīng)機(jī)制有顯著影響。探索和詳細(xì)檢查 LLMs 內(nèi)部的知識(shí)電路代表了一個(gè)有前景的未來(lái)研究方向。

?2.4.3解決方案

2.4.3.1 提高一致性?

微調(diào)。Elazar 等人（2021）提出了一種一致性損失函數(shù)，并使用一致性損失與標(biāo)準(zhǔn) MLM 損失的組合來(lái)訓(xùn)練語(yǔ)言模型。Li 等人（2023d）利用一種語(yǔ)言模型在雙重能力下運(yùn)作：作為生成器產(chǎn)生響應(yīng)，并作為驗(yàn)證器評(píng)估這些響應(yīng)的準(zhǔn)確性。該過(guò)程涉及向生成器查詢響應(yīng)，隨后由驗(yàn)證器評(píng)估其準(zhǔn)確性。只有那些被認(rèn)為一致的響應(yīng)對(duì)被保留。這一組一致的響應(yīng)對(duì)隨后用于微調(diào)模型，旨在增加生成一致響應(yīng)對(duì)的概率。    

插件。Jang 和 Lukasiewicz（2023）利用中間訓(xùn)練技術(shù)，使用詞典中的詞-定義對(duì)重新訓(xùn)練語(yǔ)言模型，以提高其對(duì)符號(hào)意義的理解。隨后，他們提出了一種高效的參數(shù)集成方法，將這些增強(qiáng)的參數(shù)與現(xiàn)有語(yǔ)言模型的參數(shù)合并。這種方法旨在通過(guò)增強(qiáng)模型理解意義的能力來(lái)糾正模型的不一致行為。

輸出集成。Mitchell等人（2022）提出了一種通過(guò)采用雙模型架構(gòu)來(lái)減輕語(yǔ)言模型不一致性的方法，該架構(gòu)涉及使用一個(gè)基礎(chǔ)模型負(fù)責(zé)生成一組潛在答案，隨后由關(guān)系模型評(píng)估這些答案之間的邏輯一致性。最終答案的選擇考慮了基礎(chǔ)模型和關(guān)系模型的信念。Zhao等人（2023b）引入了一種方法來(lái)檢測(cè)問(wèn)題是否可能導(dǎo)致大型語(yǔ)言模型（LLMs）的不一致性。具體而言，他們首先使用LLMs重述原始問(wèn)題并獲得相應(yīng)的答案，然后對(duì)這些答案進(jìn)行聚類(lèi)并檢查分歧程度。檢測(cè)結(jié)果基于分歧水平確定。

2.4.3.2 提高事實(shí)性

Chuang等人（2023）提出了一種名為DoLa的新型對(duì)比解碼方法。具體地，作者開(kāi)發(fā)了一種動(dòng)態(tài)層選擇策略，選擇適當(dāng)?shù)脑缙趯雍统墒鞂印＝酉聛?lái)單詞的輸出概率通過(guò)計(jì)算早期層和成熟層對(duì)數(shù)概率的差異來(lái)確定。Li等人（2023c）提出了一種類(lèi)似的方法名為ITI。他們首先識(shí)別出一批稀疏的注意力頭，這些頭在TruthfulQA（Lin等人，2022）衡量的事實(shí)性方面表現(xiàn)出高線性探測(cè)準(zhǔn)確性。在推理階段，ITI沿著通過(guò)知識(shí)探測(cè)獲得的與事實(shí)相關(guān)的方向調(diào)整激活，這種干預(yù)在完成過(guò)程中對(duì)每個(gè)令牌進(jìn)行自回歸重復(fù)。DoLa和ITI都針對(duì)模型不同層之間的知識(shí)不一致性，以減少LLMs中的事實(shí)錯(cuò)誤。

本文轉(zhuǎn)載自 ??AI帝國(guó)??，作者： 無(wú)影寺