一、為什么需要 RAG 和 GraphRAG 技術(shù)？

1.1 大模型的局限性

大型語(yǔ)言模型（LLMs, Large Language Models）雖然在生成文本方面表現(xiàn)出色，但它們存在一些固有缺陷。比如，LLMs 容易出現(xiàn)“幻覺(jué)”現(xiàn)象，即生成不準(zhǔn)確或虛構(gòu)的內(nèi)容。此外，LLMs 的上下文窗口有限，無(wú)法處理過(guò)長(zhǎng)的文本，還存在隱私泄露的風(fēng)險(xiǎn)。為了彌補(bǔ)這些不足，檢索增強(qiáng)生成（RAG, Retrieval-Augmented Generation）技術(shù)應(yīng)運(yùn)而生。RAG 通過(guò)從外部數(shù)據(jù)源檢索相關(guān)信息，顯著提升了模型的準(zhǔn)確性和魯棒性。例如，在醫(yī)療領(lǐng)域，RAG 可以幫助醫(yī)生快速檢索最新的醫(yī)學(xué)文獻(xiàn)，從而提高診斷的準(zhǔn)確性。

1.2 結(jié)構(gòu)化數(shù)據(jù)的挑戰(zhàn)

盡管 RAG 在文本數(shù)據(jù)上表現(xiàn)優(yōu)異，但對(duì)于結(jié)構(gòu)化數(shù)據(jù)（如知識(shí)圖譜），傳統(tǒng)的 RAG 方法顯得力不從心。知識(shí)圖譜（KGs, Knowledge Graphs）等圖結(jié)構(gòu)數(shù)據(jù)蘊(yùn)含豐富的關(guān)聯(lián)信息，而 GraphRAG 則專門用于從圖數(shù)據(jù)中檢索信息。然而，隨著研究的深入，人們發(fā)現(xiàn)將文本數(shù)據(jù)轉(zhuǎn)化為圖結(jié)構(gòu)后，GraphRAG 在文本任務(wù)中也能發(fā)揮重要作用。例如，在社交網(wǎng)絡(luò)分析中，GraphRAG 可以通過(guò)分析用戶之間的關(guān)系，幫助識(shí)別潛在的社交圈層。

1.3 RAG 與 GraphRAG 的互補(bǔ)性

RAG 和 GraphRAG 各有優(yōu)劣：RAG 擅長(zhǎng)處理單跳問(wèn)題和細(xì)節(jié)信息，而 GraphRAG 在多跳問(wèn)題和推理任務(wù)中表現(xiàn)更佳。為了充分發(fā)揮兩者的優(yōu)勢(shì)，我們需要系統(tǒng)地評(píng)估和比較它們?cè)趶V泛文本任務(wù)中的表現(xiàn)，并探索如何將它們結(jié)合起來(lái)以提升整體性能。例如，在法律領(lǐng)域，RAG 可以用于檢索具體的法律條文，而 GraphRAG 則可以幫助律師分析案件之間的關(guān)聯(lián)性，從而提供更全面的法律建議。

二、RAG與GraphRAG

圖片

2.1 RAG：文本檢索的利器

RAG（Retrieval-Augmented Generation，檢索增強(qiáng)生成）的核心思想是將文本分割成小塊（chunks），并通過(guò)語(yǔ)義搜索或詞法搜索從外部數(shù)據(jù)源中檢索相關(guān)信息。具體來(lái)說(shuō)，RAG 會(huì)將查詢和文本塊映射到同一個(gè)特征空間，計(jì)算它們的相似度，從而找到最相關(guān)的文本塊。這種方法特別適合處理單跳問(wèn)題和需要詳細(xì)信息的任務(wù)。

舉個(gè)例子，假設(shè)你正在使用一個(gè)問(wèn)答系統(tǒng)，詢問(wèn)“誰(shuí)發(fā)明了電話？”RAG 會(huì)從大量的文本數(shù)據(jù)中檢索出與“電話”和“發(fā)明”相關(guān)的文本塊，然后生成一個(gè)準(zhǔn)確的答案：“亞歷山大·格拉漢姆·貝爾”。這種檢索方式不僅提高了答案的準(zhǔn)確性，還能有效減少大語(yǔ)言模型（LLMs）的“幻覺(jué)”問(wèn)題，即生成不準(zhǔn)確或虛構(gòu)的信息。

RAG 的實(shí)現(xiàn)通常依賴于語(yǔ)義相似性計(jì)算。比如，使用 OpenAI 的 text-embedding-ada-002 模型將文本塊和查詢映射到同一個(gè)向量空間，然后通過(guò)計(jì)算余弦相似度來(lái)找到最相關(guān)的文本塊。

2.2 GraphRAG：圖結(jié)構(gòu)的智慧

GraphRAG 則專注于從圖結(jié)構(gòu)數(shù)據(jù)中檢索信息。它首先將文本轉(zhuǎn)化為知識(shí)圖譜（Knowledge Graph, KG），然后通過(guò)遍歷圖中的節(jié)點(diǎn)和邊來(lái)獲取相關(guān)信息。GraphRAG 有兩種主要方法：

• ?基于知識(shí)圖譜的 GraphRAG：從文本中提取三元組（實(shí)體、關(guān)系、實(shí)體），并通過(guò)多跳鄰居檢索信息。例如，如果你詢問(wèn)“愛(ài)因斯坦的導(dǎo)師是誰(shuí)？”，GraphRAG 會(huì)從知識(shí)圖譜中找到“愛(ài)因斯坦”這個(gè)節(jié)點(diǎn)，然后通過(guò)“導(dǎo)師”關(guān)系找到“赫爾曼·閔可夫斯基”這個(gè)實(shí)體。
• ?基于社區(qū)的 GraphRAG：在知識(shí)圖譜的基礎(chǔ)上構(gòu)建層次化社區(qū)，并從社區(qū)中檢索信息。這種方法特別適合處理多跳問(wèn)題和需要全局視角的任務(wù)。例如，在處理“愛(ài)因斯坦的導(dǎo)師的導(dǎo)師是誰(shuí)？”這樣的多跳問(wèn)題時(shí)，基于社區(qū)的 GraphRAG 能夠通過(guò)社區(qū)的層次結(jié)構(gòu)，逐步檢索出“愛(ài)因斯坦”的導(dǎo)師的導(dǎo)師：“卡爾·弗里德里?！じ咚埂?。

GraphRAG 的優(yōu)勢(shì)在于它能夠捕捉到文本中的復(fù)雜關(guān)系，特別適合處理需要多步推理的任務(wù)。比如，在處理“愛(ài)因斯坦的導(dǎo)師的導(dǎo)師是誰(shuí)？”這樣的問(wèn)題時(shí)，RAG 可能會(huì)因?yàn)?strong>信息分散在多個(gè)文本塊中而表現(xiàn)不佳，而 GraphRAG 則能夠通過(guò)圖結(jié)構(gòu)的關(guān)系鏈，準(zhǔn)確地找到答案。

2.3 開(kāi)源實(shí)現(xiàn)

• ?RAG：可以使用 LlamaIndex 等開(kāi)源工具實(shí)現(xiàn)。LlamaIndex 是一個(gè)高效的檢索增強(qiáng)生成工具，支持將文本分割成塊并進(jìn)行語(yǔ)義搜索，特別適合處理單跳問(wèn)題和需要詳細(xì)信息的任務(wù)。
• ?GraphRAG：微軟的 GraphRAG 項(xiàng)目提供了基于社區(qū)的 GraphRAG 實(shí)現(xiàn)。該項(xiàng)目通過(guò)構(gòu)建層次化社區(qū)，能夠有效地處理多跳問(wèn)題和需要全局視角的任務(wù)，特別適合在復(fù)雜推理任務(wù)中應(yīng)用。

通過(guò)結(jié)合 RAG 和 GraphRAG 的優(yōu)勢(shì)，可以在不同的任務(wù)中實(shí)現(xiàn)更高效的檢索和生成。例如，在處理單跳問(wèn)題時(shí)使用 RAG，而在處理多跳問(wèn)題時(shí)使用 GraphRAG，從而在問(wèn)答、摘要生成等任務(wù)中取得更好的效果。

三、RAG 和 GraphRAG 的應(yīng)用效果評(píng)估

3.1 問(wèn)答任務(wù)的表現(xiàn)

圖片

在問(wèn)答任務(wù)中，RAG（Retrieval-Augmented Generation，檢索增強(qiáng)生成）和 GraphRAG（圖檢索增強(qiáng)生成）展現(xiàn)了明顯的互補(bǔ)性。RAG 在處理單跳問(wèn)題和細(xì)節(jié)信息任務(wù)時(shí)表現(xiàn)優(yōu)異。例如，在 Natural Questions（NQ）數(shù)據(jù)集上，RAG 的準(zhǔn)確率顯著高于 GraphRAG。這是因?yàn)?RAG 通過(guò)語(yǔ)義搜索直接從文本中檢索相關(guān)信息，適合回答直接且具體的問(wèn)題。

圖片

相比之下，GraphRAG 在多跳問(wèn)題和推理任務(wù)中表現(xiàn)更佳。例如，在 HotPotQA 數(shù)據(jù)集上，基于社區(qū)的 GraphRAG（Local）的 F1 得分比 RAG 高出 5%。這是因?yàn)?GraphRAG 利用圖結(jié)構(gòu)捕捉實(shí)體之間的關(guān)系，能夠更好地處理需要跨多個(gè)文檔或?qū)嶓w進(jìn)行推理的復(fù)雜問(wèn)題。

3.2 查詢摘要任務(wù)的表現(xiàn)

圖片

在查詢摘要任務(wù)中，RAG 和 GraphRAG 的表現(xiàn)因任務(wù)類型而異。RAG 在多文檔摘要任務(wù)中表現(xiàn)最佳，能夠捕捉到更多的細(xì)節(jié)信息。例如，在 ODSum-story 數(shù)據(jù)集上，RAG 生成的摘要更接近真實(shí)答案，因?yàn)樗苯訌亩鄠€(gè)文檔中提取關(guān)鍵信息。

GraphRAG 則在全局摘要任務(wù)中表現(xiàn)更佳，能夠生成更多樣化和多角度的摘要。例如，在 QMSum 數(shù)據(jù)集上，GraphRAG 通過(guò)分析文檔的全局結(jié)構(gòu)，生成更全面的摘要，適合需要整體視角的任務(wù)。

如果你需要總結(jié)一篇關(guān)于“氣候變化”的多篇研究報(bào)告，RAG 可以提取每篇報(bào)告的具體數(shù)據(jù)，而 GraphRAG 則可以從整體上分析這些報(bào)告之間的關(guān)系，生成更宏觀的摘要。

3.3 性能提升策略

為了結(jié)合 RAG 和 GraphRAG 的優(yōu)勢(shì)，提出了兩種策略：選擇策略和集成策略。

? 選擇策略（RAG vs. GraphRAG Selection）根據(jù)查詢的特性動(dòng)態(tài)選擇 RAG 或 GraphRAG。例如，事實(shí)類查詢使用 RAG，推理類查詢使用 GraphRAG。

? 集成策略（ RAG and GraphRAG Integration）則同時(shí)使用 RAG 和 GraphRAG 檢索信息，并將結(jié)果合并生成最終答案。集成策略在大多數(shù)任務(wù)中表現(xiàn)更佳，但計(jì)算成本較高。

本文轉(zhuǎn)載自??大語(yǔ)言模型論文跟蹤??，作者：HuggingAGI