本篇工作已被 NeurIPS（2024 Conference on Neural Information Processing Systems）會(huì)議接收，文章第一作者為浙江大學(xué)軟件學(xué)院碩士生王鵬，師從張寧豫副教授。

在當(dāng)前人工智能的迅猛發(fā)展中，大模型的知識(shí)記憶能力成為了提升智能系統(tǒng)理解和推理能力的關(guān)鍵。然而，與人類記憶相比，機(jī)器記憶缺乏靈活性和可控性，難以在動(dòng)態(tài)環(huán)境中實(shí)現(xiàn)有效的知識(shí)更新與編輯。人類的大腦擁有高度適應(yīng)性的記憶機(jī)制，能夠根據(jù)外部環(huán)境變化及時(shí)進(jìn)行信息的篩選、修正與增強(qiáng)。這種能力不僅使得我們能夠精準(zhǔn)地獲取信息，還可以根據(jù)任務(wù)需求高效地調(diào)用相關(guān)知識(shí)。

相比之下，現(xiàn)有的大模型主要依賴固定的參數(shù)和數(shù)據(jù)來(lái)存儲(chǔ)知識(shí)，一旦訓(xùn)練完成，修改和更新特定知識(shí)的代價(jià)極大，常常因知識(shí)謬誤導(dǎo)致模型輸出不準(zhǔn)確或引發(fā)「幻覺(jué)」現(xiàn)象。因此，如何對(duì)大模型的知識(shí)記憶進(jìn)行精確控制和編輯，成為當(dāng)前研究的前沿?zé)狳c(diǎn)。

本文借鑒認(rèn)知科學(xué)和人類記憶的機(jī)制，探討了大模型終身知識(shí)編輯問(wèn)題，提出了一種基于雙重記憶機(jī)制的大模型知識(shí)編輯方法 WISE, 旨在持續(xù)更新大語(yǔ)言模型的世界知識(shí)和糾正其幻覺(jué)性輸出。此工作結(jié)合參數(shù)化長(zhǎng)期記憶和工作記憶，在保持語(yǔ)言模型通用能力的同時(shí)可成功對(duì)模型進(jìn)行數(shù)千次連續(xù)編輯。

• 論文標(biāo)題：WISE: Rethinking the Knowledge Memory for Lifelong Model Editing of Large Language Models
• 論文鏈接: https://arxiv.org/abs/2405.14768
• 代碼鏈接: https://github.com/zjunlp/EasyEdit

1. 背景與挑戰(zhàn)

隨著大模型（LLMs）的廣泛應(yīng)用，持續(xù)更新其世界知識(shí)和糾正幻覺(jué)性輸出成為一個(gè)關(guān)鍵問(wèn)題。過(guò)去的方法在長(zhǎng)期模型知識(shí)編輯中往往無(wú)法同時(shí)實(shí)現(xiàn)可靠性、泛化性和局部性，這被稱為「不可實(shí)現(xiàn)三角」（如下圖）。

圖 1 可靠性、泛化性和局部性之間的度量三角

2. 理論基礎(chǔ)

2.1 終生模型知識(shí)編輯定義

終生模型知識(shí)編輯問(wèn)題專注于對(duì) LLMs 進(jìn)行連續(xù)的、大量的編輯操作，目的是使模型的輸出能夠與人類預(yù)期保持一致，同時(shí)保留模型先前的知識(shí)與能力 (如圖 2 所示)。具體來(lái)說(shuō)，就是通過(guò)一系列時(shí)間序列上的編輯操作，逐步改進(jìn)模型對(duì)特定查詢的處理能力，這些編輯操作由一個(gè)不斷變化的編輯數(shù)據(jù)集來(lái)驅(qū)動(dòng) [3,16,17]。

圖 2 終生模型編輯任務(wù)示意圖

終生模型編輯的目標(biāo)是實(shí)現(xiàn)以下三個(gè)關(guān)鍵特性：

• 可靠性（Reliability）：模型能夠在順序編輯后記住當(dāng)前和之前的編輯操作。
• 泛化能力（Generalization）：模型不僅僅記住查詢-目標(biāo)對(duì)，而是能夠理解并泛化到不同類型的查詢。
• 局部性（Locality）：模型編輯操作不會(huì)影響與編輯知識(shí)無(wú)關(guān)的預(yù)訓(xùn)練知識(shí)。

其過(guò)程可以描述為：給定一個(gè)已經(jīng)在上預(yù)訓(xùn)練的模型, 當(dāng)模型需要糾正錯(cuò)誤或注入新知識(shí)時(shí)會(huì)使用一個(gè)隨時(shí)間變化的編輯數(shù)據(jù)集來(lái)進(jìn)行編輯操作。在第 T 個(gè)編輯步驟中，模型知識(shí)編輯器（Model Editor, ME）接收第 T 個(gè)編輯樣例和 T-1 步的的模型，并產(chǎn)生修正后的 LLM 模型。遵循以下等式：

是當(dāng)前編輯步驟的輸入，是期望輸出；同時(shí)保留對(duì)過(guò)去編輯步驟中輸入的記憶，并維持對(duì)不相關(guān)數(shù)據(jù)的處理能力。

注意，使用終生模型知識(shí)編輯技術(shù)并非必須一直編輯大模型，如積累大量新數(shù)據(jù)后可通過(guò)全量微調(diào)繼續(xù)更新大模型的知識(shí)。終生模型知識(shí)編輯技術(shù)適用于小數(shù)據(jù)持續(xù)知識(shí)更新和謬誤修正。

2.2 語(yǔ)言模型中的知識(shí)記憶

在人類認(rèn)知中，工作記憶為生物大腦提供了暫時(shí)保存信息的能力，以便以適應(yīng)不斷變化的環(huán)境的方式執(zhí)行對(duì)話、推理和數(shù)學(xué)等任務(wù)。相似地，過(guò)去的文獻(xiàn) [8, 9, 10] 表明語(yǔ)言模型的記憶可分為長(zhǎng)期（情節(jié)性的）記憶和工作記憶（短期）：工作記憶可能存儲(chǔ)在神經(jīng)元的持續(xù)激活（推理時(shí)的 Activation）中，長(zhǎng)期記憶可能存儲(chǔ)在模型參數(shù)（Weight）中。

我們發(fā)現(xiàn)更新的知識(shí)駐留在記憶中的位置會(huì)影響編輯性能，現(xiàn)有方法可以大致分為兩類：編輯長(zhǎng)期記憶和編輯工作記憶。長(zhǎng)期記憶是通過(guò)直接編輯模型參數(shù)來(lái)更新通用的參數(shù)化知識(shí)，這種方法會(huì)與之前的預(yù)訓(xùn)練知識(shí)產(chǎn)生沖突，導(dǎo)致局部性較差 (例如 FT-EWC [1]、ROME [2])；而工作記憶則是在推理時(shí)通過(guò)檢索替換神經(jīng)網(wǎng)絡(luò)的激活/表征，不修改模型參數(shù)。盡管工作記憶方法在可靠性和局部性上表現(xiàn)優(yōu)異，但其檢索到的表征難以實(shí)現(xiàn)泛化，導(dǎo)致編輯的知識(shí)無(wú)法有效推廣（例如 GRACE [3]、SERAC [4]）。這些揭示了長(zhǎng)期記憶和工作記憶對(duì)于終身模型編輯都有缺點(diǎn)。

此外，盡管有一些針對(duì) LLM 架構(gòu)的特殊記憶設(shè)計(jì)，如 MemorryLLM [6] 和 Memoria [7]，它們改變了模型架構(gòu)（大部分 Train from scratch）且不能直接應(yīng)用于不同的 LLMs。

圖 3 當(dāng)前模型編輯方法的比較

這啟發(fā)我們提出一個(gè)關(guān)鍵科學(xué)問(wèn)題：如何設(shè)計(jì)適配大模型的知識(shí)記憶更新機(jī)制，以打破終生知識(shí)編輯中的不可能三角？

3.WISE 方法介紹

人類大腦的左右半球在不同任務(wù)中的分工給了我們靈感，這啟發(fā)我們?cè)O(shè)計(jì)了 WISE，一個(gè)具備雙參數(shù)記憶機(jī)制的框架。WISE 通過(guò)主記憶存儲(chǔ)預(yù)訓(xùn)練知識(shí)，并引入側(cè)記憶來(lái)專門存儲(chǔ)編輯后的知識(shí)。側(cè)記憶可以被視為一種中期記憶，它結(jié)合了長(zhǎng)時(shí)記憶的泛化能力和基于檢索的工作記憶的可靠性與局部性。我們僅在側(cè)記憶中進(jìn)行編輯，并訓(xùn)練一個(gè)路由器來(lái)決定在處理查詢時(shí)應(yīng)使用哪種記憶。

為了實(shí)現(xiàn)連續(xù)編輯，WISE 還設(shè)計(jì)了一種知識(shí)分片機(jī)制，將不同的編輯集合存儲(chǔ)在獨(dú)立的、正交的子空間中，最后將這些編輯合并為統(tǒng)一的側(cè)記憶。主記憶存儲(chǔ)模型在預(yù)訓(xùn)練階段學(xué)到的知識(shí)：

1. 側(cè)記憶（Wv’）作為一個(gè)副本，記錄模型在編輯后的更新信息。

2. 知識(shí)分片：將側(cè)記憶劃分成不同的隨機(jī)子空間來(lái)存儲(chǔ)編輯信息。具體來(lái)說(shuō)，對(duì)于第 i 個(gè)編輯碎片，我們?yōu)槠渖梢粋€(gè)隨機(jī)梯度掩碼 Mi。這些掩碼確保了每次編輯都僅在側(cè)記憶的特定子空間中進(jìn)行，從而實(shí)現(xiàn)了編輯的局部化和正交化。

3. 自適應(yīng) Gate：采用基于激活的門控策略來(lái)決定在給定查詢時(shí)使用主記憶還是側(cè)記憶。門控激活指示器的計(jì)算方式是比較側(cè)記憶和主記憶的激活差異（如下列公式所示）。我們?cè)O(shè)計(jì)了基于邊界的損失函數(shù)，確保編輯查詢的激活指標(biāo)比無(wú)關(guān)查詢大，具體目標(biāo)是：編輯查詢的激活值應(yīng)大于無(wú)關(guān)查詢，且兩者之間的差異超過(guò)設(shè)定的閾值 γ

4. 知識(shí)合并：通過(guò) Ties-Merge [5] 技術(shù)將各個(gè)子空間的知識(shí)合并為一致的表征，實(shí)現(xiàn)參數(shù)的高效利用。

4. 實(shí)驗(yàn)結(jié)果

實(shí)驗(yàn)結(jié)果表明，直接修改模型權(quán)重會(huì)覆蓋預(yù)訓(xùn)練的知識(shí)，導(dǎo)致新舊知識(shí)沖突，破壞局部性，影響模型對(duì)非編輯領(lǐng)域的保留。

WISE 在多個(gè)任務(wù)（如問(wèn)答、幻覺(jué)修正、分布外數(shù)據(jù)）上表現(xiàn)出色，尤其是在 LLaMA、GPT 等架構(gòu)中，WISE 大幅超越現(xiàn)有編輯方法。通過(guò)評(píng)估可靠性、泛化性和局部性三項(xiàng)指標(biāo)，WISE 在長(zhǎng)期編輯中能夠有效解決模型沖突問(wèn)題，并展示了優(yōu)異的穩(wěn)定性和擴(kuò)展性。

5. 實(shí)驗(yàn)分析

處理長(zhǎng)序列持續(xù)編輯的潛力

WISE 在 3K 次編輯下表現(xiàn)出色，尤其是 WISE-Retrieve 通過(guò)高效的子空間組織和路由機(jī)制，能夠在較少性能下降的情況下應(yīng)對(duì)大量編輯。

路由激活可視化

WISE 通過(guò)激活指標(biāo)準(zhǔn)確區(qū)分編輯查詢與非相關(guān)查詢，確保編輯的局部性，并成功將相關(guān)查詢路由到側(cè)記憶，避免干擾預(yù)訓(xùn)練知識(shí)。

在 LLM 中的引入位置

應(yīng)在 LLM 的中間到后期層引入側(cè)記憶。這些層被認(rèn)為能夠更好地處理高級(jí)語(yǔ)言現(xiàn)象，并且通過(guò)殘差連接保持了較低層次的語(yǔ)義信息，使得編輯操作能夠更有效地影響模型的輸出。

WISE 的額外開(kāi)銷

在編輯次數(shù) 3K 時(shí)，僅增加了 0.64% 的參數(shù)量和 4% 的 GPU 顯存需求，且推理時(shí)間開(kāi)銷較小，具有較高的計(jì)算效率。

6. 總結(jié)與展望

本文為長(zhǎng)期模型知識(shí)編輯提供了一種新穎的解決思路，通過(guò)側(cè)記憶設(shè)計(jì)和知識(shí)分片技術(shù)，在不犧牲模型性能的情況下，實(shí)現(xiàn)了知識(shí)的有效更新。未來(lái)的研究可以進(jìn)一步優(yōu)化路由策略，提升側(cè)記憶的檢索效率；探索更好的記憶架構(gòu)，以應(yīng)對(duì)更加復(fù)雜的編輯場(chǎng)景。

當(dāng)前階段，針對(duì)事實(shí)和實(shí)例記憶等類型的知識(shí)編輯，通常采用以下幾種方法：外部記憶更新（如 RAG、Memory 等 [12][13]）、局部參數(shù)更新（如 ROME [2]、AlphaEdit [11]）或全局參數(shù)更新（如微調(diào)或?qū)R）。而對(duì)于更抽象的知識(shí)類型，如安全性、人格或自我認(rèn)知等，還可使用運(yùn)行時(shí)干預(yù)（Steering [12][13]）或慢思考方法（如借助 o1 思想進(jìn)行錯(cuò)誤修正）。

不斷提升大模型的知識(shí)處理能力，進(jìn)而實(shí)現(xiàn)通用人工智能（AGI），是學(xué)術(shù)界與工業(yè)界的共同目標(biāo)。大模型知識(shí)編輯技術(shù)的突破，不僅能夠促進(jìn)大模型對(duì)新知識(shí)和新技能的快速、永久習(xí)得，還可以實(shí)現(xiàn)神經(jīng)與符號(hào)知識(shí)之間的高效轉(zhuǎn)換與處理。此外，當(dāng)大模型出現(xiàn)致命錯(cuò)誤或安全隱患時(shí)，基于知識(shí)編輯技術(shù)可以快速定位問(wèn)題根源，并實(shí)現(xiàn)及時(shí)的干預(yù)和控制。這種技術(shù)對(duì)確保大模型的可信與安全至關(guān)重要。

此外，大模型的知識(shí)編輯技術(shù)不僅能有效優(yōu)化模型的表現(xiàn)，還能促進(jìn)對(duì)大模型知識(shí)機(jī)理的深入研究。通過(guò)對(duì)參數(shù)進(jìn)行干預(yù)與分析，研究人員可以進(jìn)一步解構(gòu)并理解 「電子大腦」的運(yùn)作原理。