隨著生成式 AI 技術(shù)的快速發(fā)展，RAG（Retrieval-Augmented Generation）和 Agent 成為企業(yè)應(yīng)用大模型的最直接途徑。然而，傳統(tǒng)的 RAG 系統(tǒng)在準確性和動態(tài)學習能力上存在明顯不足，尤其是在處理復雜上下文和關(guān)聯(lián)性任務(wù)時表現(xiàn)不佳。近期，一篇論文提出了 HippoRAG 2，這一新型 RAG 框架在多個方面取得了顯著進步，為企業(yè)級 AI 應(yīng)用提供了更強大的解決方案。

1. HippoRAG 2 簡介：模仿人類記憶的 RAG 框架

HippoRAG 2 是一種創(chuàng)新的檢索增強生成框架，旨在提升大語言模型（LLMs）的持續(xù)學習能力。它通過模仿人類長期記憶的動態(tài)性和互聯(lián)性，解決了現(xiàn)有 RAG 系統(tǒng)在 意義理解（sense-making） 和 關(guān)聯(lián)性（associativity） 任務(wù)上的局限性。HippoRAG 2 在原始 HippoRAG 的基礎(chǔ)上進行了多項改進，包括增強段落整合、上下文感知和在線 LLM 使用，從而在事實記憶、意義理解和關(guān)聯(lián)性任務(wù)上表現(xiàn)出色。

2. 為什么長期記憶對提升 RAG 的準確率有顯著影響？

長期記憶機制是 HippoRAG 2 的核心創(chuàng)新之一，它通過模仿人類大腦的記憶方式，顯著提升了 RAG 系統(tǒng)回答問題的準確率。以下是長期記憶機制對 RAG 準確率提升的具體影響，并結(jié)合實際示例說明：

2.1 增強上下文理解能力

傳統(tǒng) RAG 系統(tǒng)通常依賴向量檢索，難以捕捉復雜上下文中的隱含信息，導致回答問題時缺乏深度理解。長期記憶機制通過動態(tài)整合上下文信息，能夠更好地理解查詢的意圖和背景，從而生成更準確的回答。

示例：

• 查詢：“為什么特斯拉的股價在 2023 年大幅波動？”
• 傳統(tǒng) RAG：可能只檢索到與“特斯拉股價”相關(guān)的孤立信息，忽略宏觀經(jīng)濟、行業(yè)趨勢等關(guān)聯(lián)因素。
• HippoRAG 2：通過長期記憶機制，能夠整合特斯拉財報、電動汽車行業(yè)動態(tài)、全球經(jīng)濟環(huán)境等多維度信息，生成更全面的回答。

2.2 提升多跳推理能力

多跳推理任務(wù)需要模型連接多個分散的知識片段，傳統(tǒng) RAG 系統(tǒng)在這方面表現(xiàn)較差。長期記憶機制通過知識圖譜（KG）結(jié)構(gòu)支持多跳推理，能夠逐步推導出答案，顯著提升復雜查詢的回答準確率。

示例：

• 查詢：“蘋果公司創(chuàng)始人史蒂夫·喬布斯的第一份工作是什么？”
• 傳統(tǒng) RAG：可能只能檢索到“史蒂夫·喬布斯”或“蘋果公司”的孤立信息，無法連接“第一份工作”這一關(guān)鍵點。
• HippoRAG 2：通過知識圖譜中的關(guān)聯(lián)關(guān)系，能夠從“史蒂夫·喬布斯”節(jié)點跳轉(zhuǎn)到“早期職業(yè)生涯”節(jié)點，最終找到“他在 Atari 公司工作”的答案。

2.3 避免災(zāi)難性遺忘

傳統(tǒng) RAG 系統(tǒng)在引入新知識時容易遺忘舊知識，導致回答問題時出現(xiàn)不一致或錯誤。長期記憶機制能夠動態(tài)更新知識圖譜，同時保留舊知識，避免災(zāi)難性遺忘，確?；卮鸬臏蚀_性和一致性。

示例：

• 場景：某公司的產(chǎn)品價格在 2023 年進行了調(diào)整。
• 傳統(tǒng) RAG：可能仍然使用 2022 年的價格信息，導致回答錯誤。
• HippoRAG 2：通過長期記憶機制，能夠動態(tài)更新價格信息，并確?；卮饡r使用最新的數(shù)據(jù)。

2.4 提升關(guān)聯(lián)性任務(wù)的準確率

傳統(tǒng) RAG 系統(tǒng)在處理關(guān)聯(lián)性任務(wù)時表現(xiàn)不佳，難以連接分散的知識片段。長期記憶機制通過知識圖譜中的“包含”關(guān)系和“上下文邊緣”連接相關(guān)段落和短語，能夠更好地捕捉知識片段之間的關(guān)聯(lián)性，生成更準確的回答。

示例：

• 查詢：“量子計算對人工智能的發(fā)展有什么影響？”
• 傳統(tǒng) RAG：可能只能檢索到“量子計算”或“人工智能”的孤立信息，無法連接兩者之間的關(guān)系。
• HippoRAG 2：通過知識圖譜中的關(guān)聯(lián)關(guān)系，能夠整合“量子計算加速機器學習算法”等相關(guān)信息，生成更準確的回答。

2.5 動態(tài)適應(yīng)復雜查詢

復雜查詢通常涉及多個子問題或隱含條件，傳統(tǒng) RAG 系統(tǒng)難以全面解析。長期記憶機制能夠分層次解析復雜查詢，逐步拆解并回答每個子問題，同時通過上下文感知能力理解查詢中的隱含條件，生成更符合用戶意圖的回答。

示例：

• 查詢：“如果特斯拉在中國建廠，會對美國本土的就業(yè)市場產(chǎn)生什么影響？”
• 傳統(tǒng) RAG：可能只能回答“特斯拉在中國建廠”或“美國就業(yè)市場”的孤立信息，無法連接兩者之間的關(guān)系。
• HippoRAG 2：通過長期記憶機制，能夠整合“特斯拉全球供應(yīng)鏈”、“中國制造業(yè)成本優(yōu)勢”、“美國就業(yè)市場數(shù)據(jù)”等多維度信息，生成更全面的回答。

3. HippoRAG 2 解決的問題：從持續(xù)學習到關(guān)聯(lián)性捕捉

3.1 持續(xù)學習的挑戰(zhàn)

大語言模型在持續(xù)學習方面面臨兩大挑戰(zhàn)：

• 新知識的吸收：模型難以高效地整合新知識。
• 災(zāi)難性遺忘：模型在學習新知識時容易遺忘舊知識。

3.2 傳統(tǒng) RAG 的局限性

盡管 RAG 已成為向 LLMs 引入新信息的主流方法，但其依賴向量檢索的方式存在以下問題：

• 意義理解不足：難以解析復雜上下文。
• 關(guān)聯(lián)性捕捉有限：無法有效連接分散的知識片段。
• 信息整合能力弱：現(xiàn)有 RAG 方法在處理多段落信息時表現(xiàn)不佳。

3.3 結(jié)構(gòu)化增強 RAG 的權(quán)衡

現(xiàn)有的結(jié)構(gòu)化增強 RAG 方法（如 GraphRAG、RAPTOR 等）雖然提升了意義理解和關(guān)聯(lián)性，但在基礎(chǔ)事實記憶任務(wù)上往往表現(xiàn)不佳。例如，HippoRAG 在大規(guī)模語篇理解任務(wù)上表現(xiàn)下降，而 RAPTOR 在簡單和多跳問答任務(wù)上因噪聲引入而性能大幅下降。

4. HippoRAG 2 的解決方案：神經(jīng)生物學啟發(fā)的創(chuàng)新設(shè)計

HippoRAG 2 通過以下關(guān)鍵改進解決了上述問題：

4.1 密集-稀疏信息整合

HippoRAG 2 將概念和上下文信息無縫整合到一個開放的**知識圖譜（KG）**中，增強了索引的全面性和原子性。具體來說，它將短語節(jié)點作為概念的稀疏編碼，并將密集編碼（段落）整合到 KG 中，通過“包含”關(guān)系連接段落和短語。

4.2 更深層次的上下文感知

HippoRAG 2 利用 KG 結(jié)構(gòu)實現(xiàn)更上下文感知的檢索，而不僅僅依賴命名實體識別（NER）。它采用“查詢到三元組”方法，通過整個查詢鏈接 KG 中的三元組，從而更全面地理解查詢意圖。

4.3 識別記憶

HippoRAG 2 引入了識別記憶機制，通過 LLM 過濾檢索到的三元組，確保其相關(guān)性。這一過程分為兩步：

1. 查詢到三元組：使用嵌入模型檢索 KG 中的 top-k 三元組。
2. 三元組過濾：使用 LLM 過濾三元組并生成最終的三元組集合。

4.4 神經(jīng)生物學啟發(fā)

HippoRAG 2 的設(shè)計靈感來自人類長期記憶的結(jié)構(gòu)，其組件模擬了新皮層（LLM）、 海馬旁區(qū)（PHR 編碼器） 和 海馬體（開放 KG） 的功能。

4.5 整體流程

HippoRAG 2 的流程分為兩部分：

• 離線索引：從段落中提取三元組并構(gòu)建 KG。
• 在線檢索：將查詢鏈接到 KG 元素，過濾三元組，并使用個性化 PageRank（PPR）進行上下文感知檢索。

5. 出色的實驗結(jié)果：全面超越現(xiàn)有方法

5.1 綜合評估

作者在多個基準上進行了實驗，包括：

• 事實記憶：NaturalQuestions、PopQA。
• 意義理解：NarrativeQA。
• 關(guān)聯(lián)性：MuSiQue、2Wiki、HotpotQA、LV-Eval。

5.2 卓越性能

HippoRAG 2 在所有基準類別上均優(yōu)于標準 RAG 和其他結(jié)構(gòu)化增強 RAG 方法。具體來說：

• 在關(guān)聯(lián)性任務(wù)上，HippoRAG 2 比標準 RAG 平均提高了 7 個百分點。
• 在事實記憶和意義理解任務(wù)上，HippoRAG 2 不僅沒有性能下降，反而略有提升。

5.3 魯棒性

HippoRAG 2 對不同檢索器和 LLM 表現(xiàn)出極強的魯棒性，無論是開源還是專有 LLM 均可靈活使用。

5.4 關(guān)鍵結(jié)果

• 問答性能：HippoRAG 2 在多個基準上取得了最高的平均 F1 分數(shù)。
• 檢索性能：在檢索任務(wù)上，HippoRAG 2 同樣表現(xiàn)優(yōu)異。

5.5 消融實驗

消融實驗證實，HippoRAG 2 的每個組件都對其性能提升有顯著貢獻。例如，更深層次的上下文感知鏈接方法顯著提高了性能。

HippoRAG 2 顯著超越傳統(tǒng) RAG 和 GraphRAG 為代表的結(jié)構(gòu)化 RAG 方法

6. 結(jié)論：HippoRAG 2 的未來與應(yīng)用

HippoRAG 2 不僅適用于問答系統(tǒng)和知識管理，還可以廣泛應(yīng)用于客戶服務(wù)、智能推薦和研發(fā)輔助等領(lǐng)域。未來，隨著更多企業(yè)數(shù)據(jù)的接入和模型的進一步優(yōu)化，HippoRAG 2 有望成為企業(yè) AI 基礎(chǔ)設(shè)施的核心組件。

7. 參考鏈接

• HippoRAG GitHub 倉庫：包含 HippoRAG 2 的開源代碼和詳細文檔，適合技術(shù)開發(fā)者深入探索。??https://github.com/OSU-NLP-Group/HippoRAG??
• HippoRAG 2 論文：詳細介紹了 HippoRAG 2 的設(shè)計原理和實驗驗證，適合學術(shù)研究者和技術(shù)愛好者閱讀。??https://arxiv.org/abs/2502.14802??

本文轉(zhuǎn)載自??非架構(gòu)??，作者：非架構(gòu)