RAG技術(shù)已經(jīng)成為當(dāng)下提升大語言模型（LLMs）生成質(zhì)量的重要手段。然而，傳統(tǒng)的RAG方法在處理模糊信息需求或非結(jié)構(gòu)化知識時(shí)存在顯著局限性。近期，一項(xiàng)名為《MEMORAG: MOVING TOWARDS NEXT-GEN RAG VIA MEMORY-INSPIRED KNOWLEDGE DISCOVERY[1]》的研究提出了一種創(chuàng)新的RAG框架——MemoRAG，通過引入長時(shí)記憶模塊，顯著提升了RAG系統(tǒng)在復(fù)雜任務(wù)中的表現(xiàn)。

MemoRAG的創(chuàng)新架構(gòu)

現(xiàn)在我們?nèi)匀灰詧D書館找書為例介紹MemoRAG的思路。想象一下，你在圖書館里尋找一本關(guān)于某個(gè)特定主題的書。傳統(tǒng)的RAG方法就像是你在圖書館里隨機(jī)翻找書籍，效率低下且容易遺漏重要信息。而MemoRAG則更像是你帶著一位記憶力超群的圖書管理員，他不僅知道每本書的位置，還能根據(jù)你的需求提供精準(zhǔn)的推薦。

MemoRAG采用了雙系統(tǒng)架構(gòu)：一個(gè)輕量但長程的LLM用于形成數(shù)據(jù)庫的全局記憶，另一個(gè)昂貴但表達(dá)能力強(qiáng)的LLM則基于檢索到的信息生成最終答案。具體來說，當(dāng)任務(wù)被提出時(shí)，輕量LLM生成草稿答案，提示檢索工具在數(shù)據(jù)庫中定位有用信息；然后，重型LLM基于檢索到的信息生成最終答案。從這一點(diǎn)，可以看出重排序是預(yù)篩選，而MemoRAG是預(yù)生成。

這種架構(gòu)的核心在于記憶模塊的設(shè)計(jì)。記憶模塊需要具備兩個(gè)關(guān)鍵特性：一是記憶性，能夠記住整個(gè)數(shù)據(jù)庫的全局信息；二是指導(dǎo)性，能夠提供有用的線索以全面檢索所需知識。為此，MemoRAG引入了以下優(yōu)化設(shè)計(jì)：

1. 雙系統(tǒng)架構(gòu)：輕量LLM作為記憶模塊，重型LLM執(zhí)行檢索增強(qiáng)生成。輕量LLM需要具備成本效益且具備長上下文處理能力。
2. 記憶模塊微調(diào)：通過微調(diào)記憶模塊，使生成的線索能夠達(dá)到優(yōu)化的檢索質(zhì)量。

MemoRAG的工作機(jī)制

MemoRAG的工作機(jī)制可以用以下公式表示：

其中，Y 是最終答案，q 是輸入查詢，C是從數(shù)據(jù)庫 D 中檢索到的上下文，y 是記憶模塊生成的階段性答案或線索。記憶模塊 通過處理超長上下文，生成任務(wù)特定的線索 y，這些線索幫助檢索模型定位最相關(guān)的上下文C。

這個(gè)公式可以分解為三個(gè)部分，每個(gè)部分都代表MemoRAG系統(tǒng)中的一個(gè)關(guān)鍵步驟。讓我們逐一解析：

1.記憶模塊生成線索 y：

這一步是由記憶模塊完成的。記憶模塊接收到用戶的查詢 q 和數(shù)據(jù)庫 D 后，生成一個(gè)階段性答案或線索 y ?？梢园延洃浤K想象成一個(gè)聰明的助手，它根據(jù)你提出的問題和它記住的所有信息，給出一個(gè)初步的建議或方向。

2.檢索模塊定位上下文 C：

接下來，檢索模塊根據(jù)記憶模塊生成的線索 y 在數(shù)據(jù)庫 D 中尋找相關(guān)的信息，形成上下文 C。這一步就像是你根據(jù)助手的建議，在圖書館里找到幾本相關(guān)的書籍或文章。

3.生成最終答案 Y：

最后，生成模塊接收到用戶的查詢 q 和檢索到的上下文 C 后，生成最終的答案 Y。這一步類似于你根據(jù)找到的書籍和文章，整理出一個(gè)完整且詳細(xì)的回答。

MemoRAG的應(yīng)用場景

MemoRAG通過引入長時(shí)記憶模塊，顯著提升了RAG系統(tǒng)在復(fù)雜任務(wù)中的表現(xiàn)。其雙系統(tǒng)架構(gòu)和記憶模塊的優(yōu)化設(shè)計(jì)，使其在處理模糊信息需求和非結(jié)構(gòu)化知識時(shí)表現(xiàn)出色。MemoRAG特別適合以下場景：

• 需要綜合大量信息和資源的復(fù)雜查詢
• 涉及多領(lǐng)域知識的跨學(xué)科問題
• 需要高準(zhǔn)確性和詳細(xì)解釋的專業(yè)咨詢

比如：在法律領(lǐng)域，處理復(fù)雜的法律查詢通常需要檢索大量的法律條文和案例。例如，用戶可能會提出一個(gè)涉及多項(xiàng)法律條文的復(fù)雜問題：“在某特定情況下，如何解釋合同法中的違約責(zé)任？”傳統(tǒng)的RAG系統(tǒng)可能會因?yàn)樾畔⑿枨竽：y以提供準(zhǔn)確答案。

MemoRAG通過其記憶模塊生成階段性答案，例如：“合同法第XX條規(guī)定了違約責(zé)任的基本原則，相關(guān)案例包括A案和B案?！比缓?，檢索模塊根據(jù)這些線索定位相關(guān)法律條文和案例，最終生成詳細(xì)的法律解釋。這種方法不僅提高了檢索的準(zhǔn)確性，還顯著提升了生成答案的質(zhì)量。

再比如：在醫(yī)療領(lǐng)域，醫(yī)生可能會提出復(fù)雜的診斷問題，例如：“患者表現(xiàn)出X、Y、Z癥狀，可能的診斷是什么？”傳統(tǒng)的RAG系統(tǒng)可能會因?yàn)榘Y狀描述不明確而難以提供準(zhǔn)確的診斷建議。

MemoRAG的記憶模塊可以生成階段性答案，例如：“這些癥狀可能與以下疾病相關(guān)：A病、B病、C病?！比缓?，檢索模塊根據(jù)這些線索定位相關(guān)的醫(yī)學(xué)文獻(xiàn)和病例，最終生成詳細(xì)的診斷建議。這種方法不僅提高了診斷的準(zhǔn)確性，還顯著提升了生成答案的質(zhì)量。

實(shí)驗(yàn)與評估

為了評估MemoRAG的有效性，研究團(tuán)隊(duì)開發(fā)了一個(gè)名為ULTRADOMAIN的綜合基準(zhǔn)，包含來自法律、金融、教育、醫(yī)療、編程等多個(gè)領(lǐng)域的復(fù)雜RAG任務(wù)。實(shí)驗(yàn)結(jié)果顯示，MemoRAG在處理復(fù)雜任務(wù)時(shí)表現(xiàn)出色，顯著優(yōu)于傳統(tǒng)RAG系統(tǒng)。

結(jié)論

MemoRAG通過引入長時(shí)記憶模塊，顯著提升了RAG系統(tǒng)在復(fù)雜任務(wù)中的表現(xiàn)。其雙系統(tǒng)架構(gòu)和記憶模塊的優(yōu)化設(shè)計(jì)，使其在處理模糊信息需求和非結(jié)構(gòu)化知識時(shí)表現(xiàn)出色。未來，隨著更多資源和數(shù)據(jù)的引入，MemoRAG有望在更多領(lǐng)域展現(xiàn)其強(qiáng)大的應(yīng)用潛力。希望這項(xiàng)研究能夠?yàn)楦郃I應(yīng)用場景提供新的思路和解決方案。

參考資料

[1]MEMORAG: MOVING TOWARDS NEXT-GEN RAG VIA MEMORY-INSPIRED KNOWLEDGE DISCOVERY: https://arxiv.org/pdf/2409.05591

本文轉(zhuǎn)載自??AI工程化??，作者： ully ????