譯者 | 李睿

審校 | 重樓

知識存儲和檢索正在成為大型語言模型(LLM)應用的重要組成部分。雖然檢索增強生成(RAG)在該領域取得了巨大進步，但一些局限性仍然沒有克服。

俄亥俄州立大學和斯坦福大學的研究團隊推出了HippoRAG，這是一種創(chuàng)新性的檢索框架，其設計理念源于人類長期記憶系統(tǒng)中的海馬索引理論。

HippoRAG的引入使大型語言模型（LLM）應用程序能夠更有效地集成動態(tài)知識，并更快、更準確地檢索重要信息。HippoRAG在多跳（multi-hop）問答等任務上表現(xiàn)出令人印象深刻的性能，對于需要對大型復雜知識圖進行組裝和推理的LLM應用程序非常有用。

LLM知識整合的挑戰(zhàn)

哺乳動物的大腦可以儲存大量的知識，并在不丟失以前經(jīng)驗的情況下不斷整合新經(jīng)驗。這種長期記憶系統(tǒng)允許人類不斷更新他們用于推理和決策的知識。

相比之下，LLM在預訓練后的知識整合仍然很困難。雖然RAG已經(jīng)成為LLM中長期記憶的主流解決方案，但現(xiàn)有的方法在處理新文檔時往往采取單獨編碼的方式，這使得不同來源的知識難以有效集成。

許多應用程序需要跨多個文檔進行知識集成。例如，科學文獻綜述、法律案例簡報和醫(yī)學診斷需要將不同來源中提到的事實和概念相互關聯(lián)。標準的多跳問答也需要整合各種文檔的多個段落之間的信息。

為了完成這些任務，當前的RAG系統(tǒng)使用多個檢索和生成步驟來連接不同的段落。然而，即使執(zhí)行了多步RAG，對于許多知識集成場景來說，也往往是不夠的。

HippoRAG

HippoRAG從大腦中的新皮層和海馬體之間的生物相互作用中獲得靈感，這種相互作用使強大的基于場景的、不斷更新的人類大腦記憶成為可能。

根據(jù)科學研究，大腦皮層負責處理和存儲實際的記憶表征，而海馬體則擁有一組相互關聯(lián)的索引，這些索引指向新皮層中的記憶單元，并儲存它們之間的關聯(lián)性。這兩個關鍵組成部分共同協(xié)作，執(zhí)行“模式分離”和“模式完成”的功能，前者確保不同經(jīng)歷的表征具有獨特性，后者則讓從部分刺激中檢索完整記憶成為可能。

HippoRAG通過使用LLM將文檔語料庫轉(zhuǎn)換為充當人工海馬索引的知識圖來模仿這種記憶模型。HippoRAG分為兩個階段，離線索引用于存儲信息，在線檢索用于將知識整合到用戶請求中。

離線索引階段類似于大腦中的記憶編碼，使用指令調(diào)優(yōu)的LLM以知識圖三元組的形式從段落中提取重要特征。與傳統(tǒng)的RAG管道中使用的密集嵌入相比，這允許更細粒度的模式分離。

人工海馬索引是在檢索語料庫中得到的三元組的基礎上建立的開放知識圖譜。為了連接這些組件，HippoRAG使用現(xiàn)成的密集編碼器進行檢索，這些編碼器在知識圖中相似的名詞短語之間提供額外的邊緣，以幫助下游模式完成連接。編碼器有助于使系統(tǒng)更有彈性和靈活性，因為相同的知識可以用稍微不同的方式表達。

在線檢索過程反映了大腦的記憶檢索過程。LLM從用戶查詢中提取顯著的命名實體，然后根據(jù)檢索編碼器確定的相似性將其鏈接到知識圖中的節(jié)點。然后，HippoRAG使用個性化PageRank算法，這是PageRank的一個版本，它使用一組用戶定義的源節(jié)點在圖中分布概率。這種約束使HippoRAG能夠?qū)⑵漭敵鱿拗茷榍耙徊街羞x擇的候選查詢節(jié)點集。然后將結果應用于索引的段落，以選擇它們進行檢索。

HippoRAG的實際應用

研究人員在兩項具有挑戰(zhàn)性的多跳問答基準測試（MuSiQue和2WikiMultiHopQA）以及HotpotQA數(shù)據(jù)集上，對HippoRAG的檢索能力進行了全面的評估。他們將其與幾種強大的檢索方法和最近的LLM增強基線進行了比較。

評估結果表明， HippoRAG在單步檢索上優(yōu)于所有其他方法，包括那些基于LLM增強的基線模型。與多步驟檢索方法IRCoT相結合時，HippoRAG在相同的數(shù)據(jù)集上提供高達20%的互補增益。

HippoRAG的一個主要優(yōu)點是它能夠在一個步驟中執(zhí)行多跳檢索。其在線檢索過程的成本與目前的迭代檢索方法(例如IRCoT)相比低10到30倍，快6到13倍，同時實現(xiàn)了相當?shù)男阅堋?/span>

研究人員在報告中寫道：“我們提出的神經(jīng)生物學原理方法雖然簡單，但已經(jīng)顯示出克服標準RAG系統(tǒng)固有局限性的巨大潛力，同時保留了它們相對于參數(shù)記憶的優(yōu)勢。HippoRAG在路徑跟蹤多跳QA和路徑發(fā)現(xiàn)多跳QA方面的卓越表現(xiàn)，以及其顯著的效率提升和持續(xù)更新的能力，使其成為了連接標準RAG方法和參數(shù)化記憶之間的強大中間框架，為LLM中的長期記憶問題提供了令人信服的解決方案。”

研究人員承認，為了進一步改進HippoRAG，還需要克服一些局限性，例如對其組件進行微調(diào)，并進一步驗證其對更大知識圖譜的可擴展性。然而，當前的研究結果已經(jīng)證明了神經(jīng)生物學啟發(fā)的方法在推進LLM知識整合方面的潛力，并使他們能夠?qū)Ψ墙Y構化信息進行更復雜的推理。

知識圖譜和LLM的結合是一個非常強大的工具，可以解鎖許多應用程序。GNN-RAG是一種將圖神經(jīng)網(wǎng)絡(GNN)和知識圖與LLM相結合的創(chuàng)新方法，已被證明可以解決許多經(jīng)典RAG無法解決的復雜推理問題。而將GNN引入HippoRAG可能是未來探索的一個有趣方向。

原文標題：HippoRAG takes cues from the brain to improve LLM retrieval，作者：Ben Dickson