檢索增強(qiáng)生成（RAG）是一種通過外部知識源增強(qiáng)現(xiàn)有大型語言模型（LLM）的方法，以提供和上下文更相關(guān)的答案。在RAG中，檢索組件獲取額外的信息，使響應(yīng)基于特定來源，然后將這些信息輸入到LLM提示中，以使LLM的響應(yīng)基于這些信息（增強(qiáng)階段）。與其他技術(shù)（例如微調(diào)）相比，RAG更經(jīng)濟(jì)。它還有減少幻覺的優(yōu)勢，通過為LLM提供額外的上下文——使RAG成為今天LLM任務(wù)（如推薦、文本提取、情感分析等）的流行方法。

如果我們進(jìn)一步分解這個想法，根據(jù)用戶意圖，我們通常會查詢一個向量數(shù)據(jù)庫。向量數(shù)據(jù)庫使用連續(xù)的向量空間來捕捉兩個概念之間的關(guān)系，使用基于接近度的搜索。

向量數(shù)據(jù)庫概述

在向量數(shù)據(jù)庫中，無論是文本、圖像、音頻還是任何其他類型的信息，都被轉(zhuǎn)換為向量。向量是數(shù)據(jù)在高維空間的數(shù)值表示。每個維度對應(yīng)數(shù)據(jù)的一個特征，每個維度中的值反映了該特征的強(qiáng)度或存在。

在向量數(shù)據(jù)庫中進(jìn)行基于接近度的搜索，涉及使用另一個向量查詢這些數(shù)據(jù)庫，并搜索在向量空間中“接近”它的向量。向量之間的接近度通常由距離度量來確定，例如歐幾里得距離、余弦相似度或曼哈頓距離。

當(dāng)您在向量數(shù)據(jù)庫中執(zhí)行搜索時，您提供了一個系統(tǒng)將其轉(zhuǎn)換為向量的查詢。然后數(shù)據(jù)庫計算這個查詢向量與數(shù)據(jù)庫中已經(jīng)存儲的向量之間的距離或相似性。那些最接近查詢向量的向量（根據(jù)所選度量）被認(rèn)為是最相關(guān)的結(jié)果。

基于接近度的搜索在向量數(shù)據(jù)庫中特別強(qiáng)大，適用于推薦系統(tǒng)、信息檢索和異常檢測等任務(wù)。

這種方法使系統(tǒng)能夠更直觀地運行，并通過理解數(shù)據(jù)中的上下文和深層含義，更有效地響應(yīng)用戶查詢，而不是僅依賴于表面匹配。

然而，向量數(shù)據(jù)庫在接近度搜索方面有一些限制，例如數(shù)據(jù)質(zhì)量、處理動態(tài)知識的能力以及透明度。

RAG的限制

根據(jù)文檔的大小，RAG大致分為三類：如果文檔很小，可以上下文訪問；如果文檔很大（或有多個文檔），在查詢時生成較小的塊，這些塊被索引并用于響應(yīng)查詢。

盡管取得了成功，RAG也有一些缺點。

衡量RAG性能的兩個主要指標(biāo)是困惑度和幻覺，困惑度代表在文本生成過程中同等可能的下一個詞的選擇數(shù)量。即語言模型在其選擇上的“困惑”程度?；糜X是AI做出的不真實或想象的陳述。

雖然RAG有助于減少幻覺，但它并沒有消除它。如果您有一個小而簡潔的文檔，您可以減少困惑度（因為LLM的選擇很少），并減少幻覺（如果您只詢問文檔中的內(nèi)容）。當(dāng)然，另一方面是，一個單一的小文檔會導(dǎo)致一個微不足道的應(yīng)用。對于更復(fù)雜的應(yīng)用，您需要一種提供更多上下文的方法。

例如，考慮單詞“bark”——我們至少有兩個不同的上下文：

樹的上下文：“橡樹粗糙的樹皮保護(hù)它免受寒冷。”

狗的上下文：“鄰居的狗每當(dāng)有人經(jīng)過他們的房子時，都會大聲叫?！?/span>

提供更多上下文的一種方法是將RAG與知識圖譜結(jié)合（一個GRAPHRAG）。

在知識圖譜中，這些單詞將與它們相關(guān)的上下文和含義連接起來。例如，“bark”將與代表“樹”和“狗”的節(jié)點連接。其他連接可以指示常見動作（例如，樹的“保護(hù)”、狗的“制造噪音”）或?qū)傩裕ɡ?，樹的“粗糙”、狗的“響亮”）。這種結(jié)構(gòu)化信息允許語言模型根據(jù)句子中的其他單詞或?qū)υ挼目傮w主題選擇適當(dāng)?shù)囊饬x。

在接下來的部分中，我們將看到RAG的局限性以及GRAPHRAG如何解決這些局限性。

原文標(biāo)題：Understanding GraphRAG – 1: The challenges of RAG

原文作者：ajitjaokar