編者按：傳統(tǒng)的檢索增強(qiáng)生成（RAG）技術(shù)在處理需要深入理解實(shí)體關(guān)系的問(wèn)題時(shí)常常力不從心，那么有什么新的技術(shù)可以突破這一限制嗎？

本文深入探討了 GraphRAG 技術(shù)，這一創(chuàng)新方案通過(guò)將非結(jié)構(gòu)化文本轉(zhuǎn)化為結(jié)構(gòu)化知識(shí)圖譜，巧妙地解決了上述難題。GraphRAG 能顯著提升 AI 系統(tǒng)理解和回答復(fù)雜問(wèn)題的能力，尤其在跨時(shí)代、跨學(xué)科的問(wèn)題上表現(xiàn)出色。

作者也指出了實(shí)施 GraphRAG 面臨的挑戰(zhàn)，包括知識(shí)圖譜構(gòu)建的復(fù)雜性、可擴(kuò)展性問(wèn)題以及維護(hù)成本等。但它無(wú)疑為 AI 對(duì)話(huà)系統(tǒng)開(kāi)辟了一條新的發(fā)展道路，我們有理由期待未來(lái)的AI助手能夠更智能、更可靠地回答各種復(fù)雜問(wèn)題，為用戶(hù)提供更高質(zhì)量的交互體驗(yàn)。

作者 | Rendy Dalimunthe

編譯 | 岳揚(yáng)

開(kāi)發(fā)一個(gè)能夠處理真實(shí)問(wèn)題并給出精準(zhǔn)回答的聊天機(jī)器人，實(shí)屬不易。盡管大語(yǔ)言模型已取得重大進(jìn)展，但如何將這些模型與知識(shí)庫(kù)結(jié)合起來(lái)，提供可靠且上下文信息豐富的答案，仍是一個(gè)待解的難題。

Photo by Google DeepMind[1] on Unsplash[2]

關(guān)鍵問(wèn)題通常在于模型的“幻覺(jué)”現(xiàn)象——即產(chǎn)生錯(cuò)誤或不存在的信息，以及模型在理解信息間微妙關(guān)系時(shí)的上下文把握能力不足。盡管有一些人嘗試構(gòu)建強(qiáng)大穩(wěn)固的問(wèn)答系統(tǒng)，但往往模型給出的答案不盡人意，即使它們接入的是內(nèi)容全面的知識(shí)庫(kù)，也難以成功。

RAG 技術(shù)可以將生成的模型響應(yīng)與現(xiàn)實(shí)世界的數(shù)據(jù)聯(lián)系起來(lái)，從而有效減少了“幻覺(jué)”現(xiàn)象，但要準(zhǔn)確回答復(fù)雜問(wèn)題仍是挑戰(zhàn)重重。 即便知識(shí)庫(kù)中其實(shí)包含了相關(guān)信息，只是不那么顯而易見(jiàn)，用戶(hù)還是常會(huì)遇到諸如“xx主題在檢索文本中未被明確提及”的回復(fù)。在這種情況下，GraphRAG（Graph Retrieval-Augmented Generation）技術(shù)就派上用場(chǎng)了，它通過(guò)利用結(jié)構(gòu)化的知識(shí)圖譜，極大地提高了模型提供精確且具有豐富上下文信息答案的能力。

01 RAG：檢索與生成的橋梁

RAG 技術(shù)是將基于檢索的方法和基于生成的方法的優(yōu)點(diǎn)結(jié)合起來(lái)的重要一步。面對(duì)用戶(hù)提問(wèn)，RAG 能夠從龐大的語(yǔ)料庫(kù)中檢索到相關(guān)的文檔或段落，并據(jù)此生成答案。因此，我們可以確信，基于實(shí)據(jù)數(shù)據(jù)生成的文本既信息豐富又切合上下文。

以“法國(guó)的首都是什么？”這樣的簡(jiǎn)單問(wèn)題為例，RAG 系統(tǒng)會(huì)在其語(yǔ)料庫(kù)中尋找涉及法國(guó)及其首都巴黎的信息，檢索到相關(guān)內(nèi)容后，生成答案：“法國(guó)的首都是巴黎。”這種方法非常適合處理簡(jiǎn)單問(wèn)題，并能提供清晰明確的答案。

然而，當(dāng)遇到更復(fù)雜的問(wèn)題，尤其是那些需要理解實(shí)體間關(guān)系，而這些關(guān)系在檢索到的文檔中并未明確表述時(shí)，RAG 的表現(xiàn)就不盡如人意了。 例如，面對(duì)“17 世紀(jì)的科學(xué)成就如何影響 20 世紀(jì)初的物理學(xué)？”這樣的問(wèn)題，RAG 系統(tǒng)往往難以給出滿(mǎn)意的答案。（關(guān)于這個(gè)問(wèn)題的例子，我們稍后還會(huì)進(jìn)一步討論。）

02 GraphRAG：發(fā)揮知識(shí)圖譜的潛能

正如 Microsoft Research 博客[3]首次提出 GraphRAG 時(shí)概述的那樣，GraphRAG 的目標(biāo)是通過(guò)整合基于知識(shí)圖譜的檢索方法來(lái)克服前文描述的這些限制。簡(jiǎn)而言之，它將知識(shí)庫(kù)中的非結(jié)構(gòu)化文本轉(zhuǎn)換成結(jié)構(gòu)化的知識(shí)圖譜，在這個(gè)知識(shí)圖譜中，節(jié)點(diǎn)表示實(shí)體（比如人物、地點(diǎn)、概念等），而邊則表示實(shí)體間的相互關(guān)系。這種結(jié)構(gòu)化的方式使得模型能夠更有效地理解和運(yùn)用不同信息間的內(nèi)在聯(lián)系。

Photo by Alina Grubnyak[4] on Unsplash[2]

接下來(lái)，讓我們更細(xì)致地探討 GraphRAG 的概念，并通過(guò)與 RAG 的對(duì)比，以易于理解的方式來(lái)揭示其工作原理。

首先，我們?cè)O(shè)想一個(gè)由各種科學(xué)和歷史文獻(xiàn)中的句子構(gòu)成的知識(shí)庫(kù)，內(nèi)容如下：

1. “阿爾伯特·愛(ài)因斯坦提出了相對(duì)論，這一理論顛覆了理論物理學(xué)和天文學(xué)?！?/li>
2. “相對(duì)論提出于 20 世紀(jì)初期，它極大地深化了我們對(duì)宇宙空間和時(shí)間本質(zhì)的理解?！?/li>
3. “以運(yùn)動(dòng)定律和萬(wàn)有引力定律著稱(chēng)的牛頓為經(jīng)典力學(xué)奠定了基礎(chǔ)?！?/li>
4. “1915 年，愛(ài)因斯坦在原有狹義相對(duì)論的基礎(chǔ)上，進(jìn)一步提出了廣義相對(duì)論?！?/li>
5. “牛頓在 17 世紀(jì)的研究成果，為現(xiàn)代物理學(xué)的發(fā)展打下了堅(jiān)實(shí)的基礎(chǔ)。”

在 RAG 系統(tǒng)中，上述句子將作為非結(jié)構(gòu)化文本存儲(chǔ)。例如，當(dāng)詢(xún)問(wèn)“17 世紀(jì)的科學(xué)成就如何影響 20 世紀(jì)初的物理學(xué)？”時(shí)，如果文檔的內(nèi)容和檢索質(zhì)量不能將 17 世紀(jì)的影響與 20 世紀(jì)早期的物理學(xué)直接聯(lián)系起來(lái)，系統(tǒng)就會(huì)陷入困境。它可能只能提供如下答案：“牛頓在 17 世紀(jì)的研究工作為現(xiàn)代物理學(xué)的大部分內(nèi)容奠定了基礎(chǔ)。阿爾伯特·愛(ài)因斯坦在 20 世紀(jì)初提出了相對(duì)論?！边@是因?yàn)?RAG 能夠檢索到相關(guān)信息，但卻難以清晰地闡釋 17 世紀(jì)物理學(xué)對(duì) 20 世紀(jì)初物理學(xué)發(fā)展的具體影響。

與此相反，GraphRAG 將這些文本轉(zhuǎn)換成結(jié)構(gòu)化的知識(shí)圖譜。知識(shí)圖譜展現(xiàn)了不同實(shí)體間的相互關(guān)系，并通過(guò)一套規(guī)則來(lái)組織信息，這樣就能揭示出那些不那么明顯的聯(lián)系。

借助 GraphRAG 系統(tǒng)，先前的知識(shí)庫(kù)將轉(zhuǎn)變?yōu)橐唤M節(jié)點(diǎn)和邊的關(guān)系，具體如下。

面對(duì)“17世紀(jì)的科學(xué)成就如何影響20世紀(jì)初的物理學(xué)？”這一問(wèn)題，基于 GraphRAG 的檢索器能夠追溯從牛頓的理論到愛(ài)因斯坦的成就之間的演變，清晰地展示了 17 世紀(jì)物理學(xué)對(duì) 20 世紀(jì)初物理學(xué)發(fā)展的深刻影響。這種結(jié)構(gòu)化的信息檢索使得答案不僅內(nèi)容豐富，而且精確到位：“牛頓在 17 世紀(jì)提出的運(yùn)動(dòng)定律和萬(wàn)有引力定律，為經(jīng)典力學(xué)的發(fā)展奠定了基石。這些基本原理對(duì)阿爾伯特·愛(ài)因斯坦在 20 世紀(jì)初發(fā)展相對(duì)論產(chǎn)生了重要影響，相對(duì)論進(jìn)一步拓展了我們對(duì)宇宙空間和時(shí)間的認(rèn)識(shí)?！?/p>

GraphRAG 通過(guò)運(yùn)用結(jié)構(gòu)化知識(shí)圖譜，提升了模型處理復(fù)雜問(wèn)題的能力，并通過(guò)提供明確定義的關(guān)系作為答案的基礎(chǔ)，降低了產(chǎn)生“幻覺(jué)”的可能性。 這種做法實(shí)質(zhì)上使得 GraphRAG 在開(kāi)發(fā)更可靠、更智能的對(duì)話(huà)式問(wèn)答系統(tǒng)時(shí)更加有效。

將非結(jié)構(gòu)化的知識(shí)庫(kù)轉(zhuǎn)化為結(jié)構(gòu)化的知識(shí)圖譜，使得 GraphRAG 能夠深入理解信息內(nèi)涵，從而使語(yǔ)言模型能夠根據(jù)上下文生成準(zhǔn)確恰當(dāng)?shù)幕卮?。這是對(duì)話(huà)式 AI 朝著更先進(jìn)、更可靠的聊天機(jī)器人系統(tǒng)發(fā)展的重要一步。

然而，正如 GraphRAG 帶來(lái)的其他優(yōu)勢(shì)一樣，它也面臨著一些挑戰(zhàn)。

首先，構(gòu)建知識(shí)圖譜是一個(gè)極其復(fù)雜的過(guò)程。 將無(wú)序的知識(shí)庫(kù)轉(zhuǎn)換為結(jié)構(gòu)化的知識(shí)圖譜需要精細(xì)的實(shí)體提?。╡ntity extraction）和關(guān)系識(shí)別方法（identification of relationships），而這些方法的計(jì)算成本可能非常高昂。

其次，可擴(kuò)展性問(wèn)題也隨之出現(xiàn)。 隨著知識(shí)庫(kù)規(guī)模的擴(kuò)大，知識(shí)圖譜的復(fù)雜性也在增加。如果知識(shí)圖譜變得過(guò)大，以至于在運(yùn)行時(shí)難以遍歷，那么可能會(huì)帶來(lái)可擴(kuò)展性問(wèn)題。對(duì)于大規(guī)模知識(shí)圖譜，優(yōu)化知識(shí)圖譜檢索算法將成為一個(gè)主要挑戰(zhàn)。

再者，知識(shí)圖譜的維護(hù)成本也是一個(gè)問(wèn)題。 知識(shí)圖譜需要根據(jù)新信息和現(xiàn)有數(shù)據(jù)的變化不斷更新。在一些很可能經(jīng)常變化的領(lǐng)域，這可能會(huì)成為一項(xiàng)非常昂貴的工作，尤其是在技術(shù)或醫(yī)學(xué)領(lǐng)域。這意味著，盡管結(jié)果可能很有前景，但要長(zhǎng)期保持知識(shí)圖譜的正確性和相關(guān)性，還需要付出大量的努力。

盡管如此，GraphRAG 仍有望為未來(lái)的對(duì)話(huà)式 AI Agents 帶來(lái)了更高的智能程度、可靠性和上下文感知能力。更多的研究和開(kāi)發(fā)工作可以幫助解決與 GraphRAG 相關(guān)的一些困難，從而為構(gòu)建更先進(jìn)、更智能的人工智能驅(qū)動(dòng)的解決方案鋪平道路。

Thanks for reading!

Hope you have enjoyed and learned new things from this blog!

Rendy Dalimunthe

Specialist in conversational AI, data management, and system design.

END

本期互動(dòng)內(nèi)容 ??

?你曾經(jīng)遇到過(guò)無(wú)法準(zhǔn)確回答的復(fù)雜問(wèn)題嗎？請(qǐng)分享你的經(jīng)歷，你認(rèn)為 GraphRAG 能夠解決你遇到的困難嗎？

??文中鏈接??

[1]https://unsplash.com/@googledeepmind?utm_source=medium&utm_medium=referral

[2]https://unsplash.com/?utm_source=medium&utm_medium=referral

[3]https://www.microsoft.com/en-us/research/blog/graphrag-unlocking-llm-discovery-on-narrative-private-data/

[4]https://unsplash.com/@alinnnaaaa?utm_source=medium&utm_medium=referral

原文鏈接：

https://towardsdatascience.com/an-easy-way-to-comprehend-how-graphrag-works-6d53f8b540d0