近年來(lái)，大語(yǔ)言模型（LLM）及其底層的 transformer 架構(gòu)已經(jīng)成為了對(duì)話式 AI 的基石，并催生了廣泛的消費(fèi)級(jí)和企業(yè)應(yīng)用程序。盡管有了長(zhǎng)足的進(jìn)步，但 LLM 使用的固定長(zhǎng)度的上下文窗口極大地限制了對(duì)長(zhǎng)對(duì)話或長(zhǎng)文檔推理的適用性。即使是使用最廣泛的開源 LLM，它們的最大輸入長(zhǎng)度只允許支持幾十條消息回復(fù)或短文檔推理。

與此同時(shí)，受限于 transformer 架構(gòu)的自注意力機(jī)構(gòu)，簡(jiǎn)單地?cái)U(kuò)展 transformer 的上下文長(zhǎng)度也會(huì)導(dǎo)致計(jì)算時(shí)間和內(nèi)存成本成倍增加，這就使得全新的長(zhǎng)上下文架構(gòu)成為緊迫的研究課題。

不過(guò)，即使我們能夠克服上下文縮放的計(jì)算挑戰(zhàn)，但最近的研究卻表明，長(zhǎng)上下文模型很難有效地利用額外的上下文。

這如何解決呢？考慮到訓(xùn)練 SOTA LLM 所需的大量資源以及上下文縮放明顯的回報(bào)遞減，我們迫切需要支持長(zhǎng)上下文的替代技術(shù)。加州大學(xué)伯克利分校的研究者在這方面有了新的進(jìn)展。

在本文中，研究者探究了如何在繼續(xù)使用固定上下文模型的同時(shí)，提供無(wú)限上下文的幻覺（illusion）。他們的方法借鑒了虛擬內(nèi)存分頁(yè)的思路，使得應(yīng)用程序能夠處理遠(yuǎn)超出可用內(nèi)存的數(shù)據(jù)集。

基于該思路，研究者利用 LLM 智能體函數(shù)調(diào)用能力的最新進(jìn)展，設(shè)計(jì)出了一個(gè)受 OS 啟發(fā)、用于虛擬上下文管理的 LLM 系統(tǒng) ——MemGPT。

論文主頁(yè)：https://memgpt.ai/

arXiv 地址：https://arxiv.org/pdf/2310.08560.pdf

項(xiàng)目已經(jīng)開源，在 GitHub 上已經(jīng)斬獲了 1.7k 的 star 量。

GitHub 地址：https://github.com/cpacker/MemGPT

方法概覽

該研究從傳統(tǒng)操作系統(tǒng)的分層內(nèi)存管理中汲取靈感，在上下文窗口（類似于操作系統(tǒng)中的「主存（main memory）」）和外部存儲(chǔ)之間有效地「分頁(yè)」進(jìn)出信息。MemGPT 則負(fù)責(zé)管理內(nèi)存、LLM 處理模塊和用戶之間的控制流。這種設(shè)計(jì)允許在單個(gè)任務(wù)期間反復(fù)進(jìn)行上下文修改，從而允許智能體更有效地利用其有限的上下文窗口。

MemGPT 將上下文窗口視為受限內(nèi)存資源，并為 LLM 設(shè)計(jì)類似于傳統(tǒng)操作系統(tǒng)中分層內(nèi)存（Patterson et al., 1988）的層次結(jié)構(gòu)。為了提供更長(zhǎng)的上下文長(zhǎng)度，該研究允許 LLM 通過(guò)「LLM OS」——MemGPT，來(lái)管理放置在其上下文窗口中的內(nèi)容。MemGPT 使 LLM 能夠檢索上下文中丟失的相關(guān)歷史數(shù)據(jù)，類似于操作系統(tǒng)中的頁(yè)面錯(cuò)誤。此外，智能體可以迭代地修改單個(gè)任務(wù)上下文窗口中的內(nèi)容，就像進(jìn)程可以重復(fù)訪問(wèn)虛擬內(nèi)存一樣。

MemGPT 能夠讓 LLM 在上下文窗口有限的情況下處理無(wú)界上下文，MemGPT 的組件如下圖 1 所示。

MemGPT 通過(guò)函數(shù)調(diào)用協(xié)調(diào)主上下文（上下文窗口中的內(nèi)容）和外部上下文之間的數(shù)據(jù)移動(dòng)，MemGPT 根據(jù)當(dāng)前上下文自主更新和檢索。

值得注意的是，上下文窗口需要用 warning token 來(lái)標(biāo)識(shí)其限制，如下圖 3 所示：

實(shí)驗(yàn)及結(jié)果

在實(shí)驗(yàn)部分，研究者在兩個(gè)長(zhǎng)上下文域中來(lái)評(píng)估 MemGPT，分別是對(duì)話式智能體和文檔處理。其中對(duì)于對(duì)話式智能體，他們擴(kuò)展了現(xiàn)有的多會(huì)話聊天數(shù)據(jù)集（Xu et al. (2021)），并引入了兩個(gè)新的對(duì)話任務(wù)以評(píng)估智能體在長(zhǎng)對(duì)話中保留知識(shí)的能力。對(duì)于文檔分析，他們根據(jù) Liu et al. (2023a) 提出的任務(wù)對(duì) MemGPT 進(jìn)行基準(zhǔn)測(cè)試，包括對(duì)長(zhǎng)文檔的問(wèn)答和鍵值檢索。

用于對(duì)話智能體的 MemGPT

當(dāng)與用戶對(duì)話時(shí)，智能體必須滿足以下兩個(gè)關(guān)鍵標(biāo)準(zhǔn)。

• 一是一致性，即智能體應(yīng)保持對(duì)話的連貫性，提供的新事實(shí)、引用和事件應(yīng)與用戶、智能體之前的陳述保持一致。
• 二是參與度，即智能體應(yīng)該利用用戶的長(zhǎng)期知識(shí)來(lái)個(gè)性化響應(yīng)。參考之前的對(duì)話可以使對(duì)話更加自然和引人入勝。

因此，研究者根據(jù)這兩個(gè)標(biāo)準(zhǔn)對(duì) MemGPT 進(jìn)行評(píng)估：

• MemGPT 是否可以利用其記憶來(lái)提高對(duì)話一致性？能否記住過(guò)去交互中的相關(guān)事實(shí)、引用、事件以保持連貫性？
• MemGPT 是否可以利用記憶生成更有吸引力的對(duì)話？是否自發(fā)地合并遠(yuǎn)程用戶信息以個(gè)性化信息？

關(guān)于使用到的數(shù)據(jù)集，研究者在 Xu et al. (2021) 提出的多會(huì)話聊天（MSC）上對(duì) MemGPT 和固定上下文的基線模型展開評(píng)估對(duì)比。

首先來(lái)一致性評(píng)估。研究者引入了一個(gè)基于 MSC 數(shù)據(jù)集的深層記憶檢索（deep memory retrieval, DMR）任務(wù)，旨在測(cè)試對(duì)話智能體的一致性。在 DMR 中，用戶向?qū)υ捴悄荏w提出一個(gè)問(wèn)題，并且該問(wèn)題明確引用先前的對(duì)話，預(yù)期答案范圍會(huì)非常窄。具體可以參加下圖 5 示例。

MemGPT 利用內(nèi)存來(lái)保持一致性。下表 2 顯示了 MemGPT 與固定記憶基線模型的性能對(duì)比，包括 GPT-3.5 和 GPT-4。

可以看到，MemGPT 在 LLM 判斷準(zhǔn)確度和 ROUGE-L 分?jǐn)?shù)方面顯著優(yōu)于 GPT-3.5 和 GPT-4。MemGPT 能夠利用回想記憶（Recall Memory）查詢過(guò)去的對(duì)話歷史，進(jìn)而回答 DMR 問(wèn)題，而不是依賴遞歸摘要來(lái)擴(kuò)展上下文。

然后在「對(duì)話開場(chǎng)白」任務(wù)中，研究者評(píng)估智能體從先前對(duì)話積累的知識(shí)中提取引人入勝的消息并傳遞給用戶的能力。

研究者在下表 3 中展示了 MemGPT 開場(chǎng)白的 CSIM 分?jǐn)?shù)。結(jié)果表明，MemGPT 能夠制作引人入勝的開場(chǎng)白，其表現(xiàn)可以媲美甚至超越人類手寫的開場(chǎng)白。此外還觀察到 MemGPT 傾向于制作比人類基線更長(zhǎng)且涵蓋更多角色信息的開場(chǎng)白。下圖 6 為示例。

用于文檔分析的 MemGPT

為了評(píng)估 MemGPT 分析文檔的能力，研究者對(duì) MemGPT 以及在 Liu et al. (2023a) 檢索器 - 閱讀器文檔 QA 任務(wù)上的固定上下文基線模型進(jìn)行了基準(zhǔn)測(cè)試。

結(jié)果顯示，MemGPT 能夠通過(guò)查詢檔案存儲(chǔ)有效地對(duì)檢索器進(jìn)行多次調(diào)用，從而可以擴(kuò)展到更大的有效上下文長(zhǎng)度。MemGPT 主動(dòng)從檔案存儲(chǔ)中檢索文檔并且可以迭代地分頁(yè)瀏覽結(jié)果，因而其可用的文檔總數(shù)不再受到適用 LLM 處理器上下文窗口的文檔數(shù)量的限制。

由于基于嵌入的相似性搜索的局限性，文檔 QA 任務(wù)對(duì)所有方法都構(gòu)成了極大的挑戰(zhàn)。研究者觀察到，MemGPT 會(huì)在檢索器數(shù)據(jù)庫(kù)耗盡之前停止對(duì)檢索器結(jié)果進(jìn)行分頁(yè)操作。

此外 MemGPT 更復(fù)雜操作所創(chuàng)建的檢索文檔容量也存在權(quán)衡，如下圖 7 所示，其平均準(zhǔn)確度低于 GPT-4（高于 GPT-3.5），但可以輕松地?cái)U(kuò)展到更大的文檔。

研究者還引入了一項(xiàng)基于合成鍵值檢索的新任務(wù)，即嵌套鍵值檢索（Nested Key-Value Retrieval），用以演示 MemGPT 如何對(duì)來(lái)自多個(gè)數(shù)據(jù)源的信息進(jìn)行整理。

從結(jié)果來(lái)看，雖然 GPT-3.5 和 GPT-4 在原始鍵值任務(wù)上表現(xiàn)出了良好性能，但在嵌套鍵值檢索任務(wù)中表現(xiàn)不佳。而 MemGPT 不受嵌套層數(shù)的影響，并能夠通過(guò)函數(shù)查詢重復(fù)訪問(wèn)存儲(chǔ)在主內(nèi)存中的鍵值對(duì)，來(lái)執(zhí)行嵌套查找。

MemGPT 在嵌套鍵值檢索任務(wù)上的性能，展示了其利用多個(gè)查詢的組合執(zhí)行多條查找的能力。

更多技術(shù)細(xì)節(jié)和實(shí)驗(yàn)結(jié)果請(qǐng)參閱原論文。