基于圖的 RAG 統(tǒng)一框架 in-depth 分析

作者：港中深與華為的研究人員

核心速覽

研究背景

研究問題：這篇文章要解決的問題是如何在統(tǒng)一框架下對基于圖的檢索增強生成 (RAG) 方法進行系統(tǒng)的比較和分析。現(xiàn)有的基于圖的 RAG 方法沒有在同一實驗設置下進行系統(tǒng)的比較。

研究難點：包括缺乏統(tǒng)一的框架來抽象和比較各種基于圖的 RAG 方法；現(xiàn)有工作主要關注整體性能評估而非單個組件的性能；以及缺乏對各種方法在準確性和效率方面的全面比較。

相關工作：涉及 RAG 技術在醫(yī)療、金融、教育等領域的廣泛應用，以及已有的基于圖的 RAG 方法（如 RAPTOR、KGP、HippoRAG 等），但這些方法缺乏系統(tǒng)比較和分析。

研究方法

• 圖構建：將大規(guī)模語料庫分割成多個塊，并使用 LLM 或其他工具從中提取節(jié)點和邊構建圖（如 passage graph、tree、knowledge graph、textual knowledge graph 和 rich knowledge graph）。
• 索引構建：為高效在線查詢，構建存儲圖中實體或關系的索引，并計算社區(qū)報告實現(xiàn)高效檢索。索引類型包括節(jié)點索引、關系索引和社區(qū)索引。
• 操作符配置：在統(tǒng)一框架下，任何現(xiàn)有的基于圖的 RAG 方法均可通過選擇特定操作符（節(jié)點、關系、塊、子圖、社區(qū)）并組合實現(xiàn)。
• 檢索與生成：將用戶輸入的問題轉(zhuǎn)換為檢索原語，利用選定操作符檢索信息，再與問題一起輸入 LLM 生成答案。答案生成包括直接生成和 Map-Reduce 兩種范式。

實驗設計

• 數(shù)據(jù)集：使用了 11 個真實世界數(shù)據(jù)集，如 MultihopQA、Quality、PopQA、MusiqueQA、HotpotQA、ALCE、Mix、MultihopSum、Agriculture、CS 和 Legal。
• 評估指標：對特定問題任務采用準確率和召回率；對抽象問題任務采用全面性、多樣性、賦能和總體質(zhì)量等指標。
• 實現(xiàn)：所有算法均在 Python 中實現(xiàn)，并使用提出的統(tǒng)一框架，實驗覆蓋 350 集數(shù)據(jù)集。
• 超參數(shù)設置：對于需要 top-k 選擇的方法（如塊或?qū)嶓w），設置 ( k=4 ) 以適應令牌長度限制，并采用 BGE-M3 模型生成節(jié)點和關系的嵌入向量。

結(jié)果與分析

• 特定問題任務的性能：RAG 技術顯著提高了 LLM 的性能。比如，在 Quality 數(shù)據(jù)集上，RAPTOR 相較于 ZeroShot 提高了 53.80% 的準確性，但若檢索到的元素不相關則可能降低性能。

• 圖構建和索引構建的成本：構建樹的令牌成本最低，而 TKG 和 RKG 的成本最高。對于大型數(shù)據(jù)集，GraphRAG 的離線階段成本較高。

• 生成成本：ZeroShot 和 Vanilla RAG 在時間和令牌消耗方面較為經(jīng)濟，而 KGP 和 ToG 由于依賴 LLM 檢索信息成本較高。

• 復雜問題任務的新 SOTA 算法：提出了 VGraphRAG，通過結(jié)合實體、關系、社區(qū)和塊四種元素有效指導 LLM 生成準確答案，在 ALCE 數(shù)據(jù)集上分別在 STRREC、STREM 和 STRHIT 上提高了 8.47%、13.18% 和 4.93%。

• 抽象問題任務的性能：基于圖的 RAG 方法通常優(yōu)于 Vanilla RAG，GGraphRAG 和 RAPTOR 因在提示中加入高層次總結(jié)文本表現(xiàn)更佳。

• 新 SOTA 算法的成本效益：設計了成本效益更高的 CheapRAG，通過選擇最有用的社區(qū)和塊顯著減少令牌成本，在 MultihopSum 數(shù)據(jù)集上相比 GGraphRAG 降低了 100 倍令牌成本，同時提升了答案質(zhì)量。

總體結(jié)論

本文對現(xiàn)有基于圖的 RAG 方法進行了深入實驗評估和比較，提出了一個新的統(tǒng)一框架覆蓋所有現(xiàn)有方法，并識別出關鍵性能影響因素和未來研究機會。

論文評價

優(yōu)點與創(chuàng)新

• 統(tǒng)一框架：提出了一個新穎的統(tǒng)一框架，涵蓋所有現(xiàn)有基于圖的檢索增強生成 (RAG) 方法，并抽象出關鍵操作。
• 全面比較：在統(tǒng)一框架下系統(tǒng)比較了 12 種代表性方法，提供了深入分析。
• 新變體識別：結(jié)合現(xiàn)有技術識別出新的 RAG 方法變體，在部分任務上優(yōu)于最先進方法。
• 實驗設計：在多個常用 QA 數(shù)據(jù)集上進行了全面實驗，評估不同查詢類型下的方法性能。
• 模塊化設計：模塊化設計允許各階段（圖構建、檢索、生成）獨立優(yōu)化和組合，提升靈活性。
• 操作符設計：通過調(diào)整檢索階段或交換組件，便于快速測試和實施新策略，加速模型開發(fā)。
• 標準化評估：提供了標準化評估方法，確保結(jié)果可重復，促進公平基準測試，為未來創(chuàng)新提供支持。

論文詳情與開源代碼

• 論文詳情：https://arxiv.org/abs/2503.04338
• 代碼開源地址：https://github.com/JayLZhou/GraphRAG

本文轉(zhuǎn)載自??NLP前沿??，作者：NLP前沿