RAG的核心思想是通過(guò)實(shí)時(shí)數(shù)據(jù)檢索彌補(bǔ)這一缺陷——在生成答案前，系統(tǒng)先從外部數(shù)據(jù)源（如數(shù)據(jù)庫(kù)、API或互聯(lián)網(wǎng)）動(dòng)態(tài)檢索相關(guān)上下文，再結(jié)合LLM的知識(shí)生成更精準(zhǔn)、實(shí)時(shí)的響應(yīng)。但它們通常在處理動(dòng)態(tài)、多步推理任務(wù)、適應(yīng)性和復(fù)雜工作流的協(xié)調(diào)方面仍然存在不足。

rag三大組件

1. 檢索器（Retriever）：從外部數(shù)據(jù)源（如向量數(shù)據(jù)庫(kù)、知識(shí)圖譜或網(wǎng)頁(yè)）中搜索與查詢相關(guān)的信息。相關(guān)技術(shù)：如BM25關(guān)鍵詞匹配、密集向量搜索等。
2. 增強(qiáng)器（Augmenter）:對(duì)檢索結(jié)果進(jìn)行篩選、排序和整合，提取最相關(guān)的片段。相關(guān)技術(shù)：上下文重排序、多跳檢索。
3. 生成器（Generator）：將增強(qiáng)后的上下文與LLM的預(yù)訓(xùn)練知識(shí)結(jié)合，生成自然語(yǔ)言回答。確?；卮疬B貫且忠實(shí)于檢索內(nèi)容，避免出現(xiàn)幻覺(jué)。

RAG范式演進(jìn)

RAG范式的對(duì)比

Naive RAG：基礎(chǔ)實(shí)現(xiàn)

Naive RAG是RAG范式的最初實(shí)現(xiàn)，其核心思想是通過(guò)簡(jiǎn)單的關(guān)鍵詞檢索來(lái)增強(qiáng)生成模型的能力。這種方法依賴于TF-IDF、BM25等傳統(tǒng)的檢索技術(shù)，從靜態(tài)數(shù)據(jù)集中獲取文檔，并將其用于生成模型的輸入。

優(yōu)點(diǎn)：

• 簡(jiǎn)單易實(shí)現(xiàn)：由于依賴簡(jiǎn)單的關(guān)鍵詞匹配，Naive RAG易于實(shí)現(xiàn)。
• 快速部署：適合需要快速上線的場(chǎng)景。

缺點(diǎn)：

• 缺乏上下文感知：由于僅依賴詞匯匹配，無(wú)法捕捉查詢的語(yǔ)義細(xì)微差別。
• 輸出碎片化：生成的響應(yīng)可能不連貫或過(guò)于通用。
• 可擴(kuò)展性問(wèn)題：在處理大規(guī)模數(shù)據(jù)集時(shí)表現(xiàn)不佳。

Advanced RAG：語(yǔ)義增強(qiáng)

為了克服Naive RAG的局限性，Advanced RAG引入了語(yǔ)義理解和增強(qiáng)的檢索技術(shù)。Advanced RAG使用密集向量搜索模型（如Dense Passage Retrieval, DPR）和神經(jīng)排序算法來(lái)提高檢索的精確度。

關(guān)鍵特性：

• 密集向量搜索：通過(guò)將查詢和文檔表示在高維向量空間中，實(shí)現(xiàn)更好的語(yǔ)義對(duì)齊。
• 上下文重排：使用神經(jīng)模型重新排序檢索到的文檔，優(yōu)先考慮最相關(guān)的信息。
• 多跳檢索：支持跨多個(gè)文檔的推理，適用于復(fù)雜查詢。

適用場(chǎng)景：

• 高精度需求：如研究綜合和個(gè)人化推薦。

Modular RAG：模塊化設(shè)計(jì)

Modular RAG代表了RAG范式的最新發(fā)展，強(qiáng)調(diào)靈活性和定制化。這種系統(tǒng)將檢索和生成管道分解為獨(dú)立的、可重用的組件，允許針對(duì)特定領(lǐng)域進(jìn)行優(yōu)化和任務(wù)適應(yīng)。

創(chuàng)新點(diǎn)：

• 混合檢索策略：結(jié)合稀疏和密集檢索方法，以最大化不同查詢類型的準(zhǔn)確性。
• 工具集成：可以集成外部API、數(shù)據(jù)庫(kù)或計(jì)算工具來(lái)處理專門任務(wù)。
• 可組合管道：允許獨(dú)立替換、增強(qiáng)或重新配置檢索器、生成器和其他組件。

適用場(chǎng)景：

• 復(fù)雜多領(lǐng)域任務(wù)：如金融分析和個(gè)性化推薦。

Graph RAG：圖結(jié)構(gòu)整合

Graph RAG通過(guò)整合圖結(jié)構(gòu)數(shù)據(jù)來(lái)擴(kuò)展傳統(tǒng)的RAG系統(tǒng)。這些系統(tǒng)利用圖數(shù)據(jù)中的關(guān)系和層次結(jié)構(gòu)來(lái)增強(qiáng)多跳推理和上下文豐富。

特點(diǎn)：

• 節(jié)點(diǎn)連接性：捕捉實(shí)體之間的關(guān)系。
• 層次知識(shí)管理：通過(guò)圖結(jié)構(gòu)處理結(jié)構(gòu)化和非結(jié)構(gòu)化數(shù)據(jù)。
• 上下文豐富：通過(guò)圖路徑增加關(guān)系理解。

適用場(chǎng)景：

• 結(jié)構(gòu)化數(shù)據(jù)任務(wù)：如醫(yī)療診斷和法律研究。

Agentic RAG：自主代理

Agentic RAG代表了一種范式轉(zhuǎn)變，通過(guò)引入能夠動(dòng)態(tài)決策和優(yōu)化工作流的自主代理來(lái)實(shí)現(xiàn)更高層次的靈活性和適應(yīng)性。與靜態(tài)系統(tǒng)不同，Agentic RAG采用迭代細(xì)化和自適應(yīng)檢索策略來(lái)處理復(fù)雜的實(shí)時(shí)和多領(lǐng)域查詢。

關(guān)鍵特性：

• 自主決策：代理根據(jù)查詢復(fù)雜性獨(dú)立評(píng)估和管理檢索策略。
• 迭代細(xì)化：通過(guò)反饋循環(huán)提高檢索準(zhǔn)確性和響應(yīng)相關(guān)性。
• 工作流優(yōu)化：動(dòng)態(tài)協(xié)調(diào)任務(wù)，提高實(shí)時(shí)應(yīng)用的效率。

適用場(chǎng)景：

• 動(dòng)態(tài)適應(yīng)性強(qiáng)：如客戶支持和財(cái)務(wù)分析。

Agentic RAG

Agentic RAG概覽

一、Agentic RAG的核心模式

1. 反思

• 定義：智能體評(píng)估自己的決策和輸出，識(shí)別錯(cuò)誤和需要改進(jìn)的領(lǐng)域。
• 主要優(yōu)勢(shì)：

     a.啟用迭代結(jié)果改進(jìn)。

     b.提高多步推理任務(wù)的準(zhǔn)確性。

• 示例：在醫(yī)療診斷系統(tǒng)中，智能體根據(jù)檢索到的數(shù)據(jù)進(jìn)行迭代反饋，以完善診斷。

反思模式

2. 規(guī)劃

• 定義：智能體創(chuàng)建結(jié)構(gòu)化的工作流和任務(wù)序列，以高效解決問(wèn)題。
• 主要優(yōu)勢(shì)：

     a.通過(guò)分解任務(wù)，促進(jìn)多步推理。

     b.通過(guò)優(yōu)化任務(wù)優(yōu)先級(jí)，減少計(jì)算開(kāi)銷。

• 示例：金融分析系統(tǒng)規(guī)劃數(shù)據(jù)檢索任務(wù)，以評(píng)估風(fēng)險(xiǎn)并提供建議。

規(guī)劃模式

3. 工具使用

• 定義：智能體與外部工具、API和知識(shí)庫(kù)交互，以檢索和處理數(shù)據(jù)。
• 主要優(yōu)勢(shì)：

     a.擴(kuò)展系統(tǒng)的能力，超越預(yù)訓(xùn)練知識(shí)。

     b.通過(guò)整合外部資源，實(shí)現(xiàn)特定領(lǐng)域的應(yīng)用。

• 示例：法律助理智能體從合同數(shù)據(jù)庫(kù)中檢索條款，并應(yīng)用特定領(lǐng)域的規(guī)則進(jìn)行合規(guī)性分析。

工具使用模式

4. 多智能體協(xié)作

• 定義：多個(gè)智能體協(xié)作，通過(guò)分工和共享信息及結(jié)果來(lái)解決復(fù)雜任務(wù)。
• 主要優(yōu)勢(shì)：

     a.高效處理大規(guī)模和分布式問(wèn)題。

     b.結(jié)合專業(yè)智能體的能力，獲得更好的結(jié)果。

• 示例： 在客戶支持中，智能體協(xié)作以從常見(jiàn)問(wèn)題解答（FAQ）中檢索知識(shí)、生成響應(yīng)并提供后續(xù)服務(wù)。 LawGlance通過(guò)利用多智能體工作流簡(jiǎn)化法律研究，檢索相關(guān)文件，分析信息，并提供精確的法律見(jiàn)解。它整合了Crew AI、LangChain和Chroma，以檢索法律文件、進(jìn)行網(wǎng)絡(luò)搜索，并提供針對(duì)用戶查詢的簡(jiǎn)潔、準(zhǔn)確的答案。

多智能體協(xié)作模式

小結(jié)：這些模式構(gòu)成了Agentic RAG系統(tǒng)的核心，使它們能夠動(dòng)態(tài)適應(yīng)任務(wù)需求，通過(guò)自我評(píng)估改進(jìn)決策，利用外部資源進(jìn)行特定領(lǐng)域的推理，通過(guò)協(xié)作處理復(fù)雜、分布式的工作流。

二、Agentic RAG系統(tǒng)的分類

Agentic檢索增強(qiáng)型生成（RAG）系統(tǒng)涵蓋了各種架構(gòu)和工作流，每種都針對(duì)特定任務(wù)和復(fù)雜程度進(jìn)行了定制。

1. 單智能體RAG

• 核心思想：由單個(gè)自主智能體管理檢索和生成過(guò)程。
• 工作流程：

1. 向智能體提交查詢。
2. 智能體從外部來(lái)源檢索相關(guān)數(shù)據(jù)。
3. 對(duì)數(shù)據(jù)進(jìn)行處理并合成回復(fù)。

• 優(yōu)點(diǎn)：
• 對(duì)于基本用例，架構(gòu)簡(jiǎn)單。
• 易于實(shí)現(xiàn)和維護(hù)。
• 局限性：
• 可擴(kuò)展性有限。
• 對(duì)于多步推理或大型數(shù)據(jù)集效果不佳。

2. 多智能體RAG

• 核心思想：一組智能體協(xié)作執(zhí)行復(fù)雜的檢索和推理任務(wù)。
• 工作流程：

1. 智能體動(dòng)態(tài)劃分任務(wù)（例如，檢索、推理、合成）。
2. 每個(gè)智能體專門負(fù)責(zé)特定的子任務(wù)。
3. 將結(jié)果匯總并合成為連貫的輸出。

• 優(yōu)點(diǎn)：
• 對(duì)于分布式、多步任務(wù)表現(xiàn)更佳。
• 模塊化程度更高，可擴(kuò)展性更強(qiáng)。
• 局限性：
• 隨著智能體數(shù)量的增加，協(xié)調(diào)復(fù)雜度上升。
• 智能體之間存在冗余或沖突的風(fēng)險(xiǎn)。

3. 分層智能體RAG

• 核心思想：將智能體組織成層次結(jié)構(gòu)，以便更好地進(jìn)行任務(wù)優(yōu)先級(jí)排序和委派。
• 工作流程：

1. 頂層智能體在較低層級(jí)智能體之間協(xié)調(diào)子任務(wù)。
2. 每個(gè)較低層級(jí)智能體處理流程中的特定部分。
3. 結(jié)果在較高層級(jí)迭代優(yōu)化并整合。

• 優(yōu)點(diǎn)：
• 對(duì)于大型復(fù)雜任務(wù)具有可擴(kuò)展性。
• 模塊化設(shè)計(jì)便于實(shí)現(xiàn)專業(yè)化。
• 局限性：
• 需要復(fù)雜的協(xié)調(diào)機(jī)制。
• 在層級(jí)結(jié)構(gòu)的較高層級(jí)可能出現(xiàn)瓶頸。

4. 糾錯(cuò)智能體RAG

• 核心思想：通過(guò)反饋循環(huán)使智能體能夠迭代評(píng)估和優(yōu)化其輸出。
• 工作流程：

1. 智能體生成初始回復(fù)。
2. 一個(gè)評(píng)判模塊評(píng)估回復(fù)是否存在錯(cuò)誤或不一致之處。
3. 智能體根據(jù)反饋優(yōu)化回復(fù)。
4. 重復(fù)步驟2 - 3，直到輸出達(dá)到質(zhì)量標(biāo)準(zhǔn)。

• 優(yōu)點(diǎn)：
• 通過(guò)迭代改進(jìn)實(shí)現(xiàn)高準(zhǔn)確性和可靠性。
• 對(duì)于容易出錯(cuò)或高風(fēng)險(xiǎn)任務(wù)很有用。
• 局限性：
• 計(jì)算開(kāi)銷增加。
• 反饋機(jī)制必須精心設(shè)計(jì)，以避免無(wú)限循環(huán)。

5. 自適應(yīng)智能體RAG

• 核心思想：根據(jù)任務(wù)要求動(dòng)態(tài)調(diào)整檢索策略和工作流程。
• 工作流程：

1. 智能體評(píng)估查詢及其上下文。
2. 根據(jù)可用數(shù)據(jù)和用戶需求實(shí)時(shí)調(diào)整檢索策略。
3. 使用動(dòng)態(tài)工作流程合成回復(fù)。

• 優(yōu)點(diǎn)：
• 對(duì)于各種任務(wù)和動(dòng)態(tài)環(huán)境具有高度靈活性。
• 提高上下文相關(guān)性和用戶滿意度。
• 局限性：
• 設(shè)計(jì)強(qiáng)大的自適應(yīng)機(jī)制具有挑戰(zhàn)性。
• 實(shí)時(shí)調(diào)整會(huì)帶來(lái)計(jì)算開(kāi)銷。

6. 基于圖的智能體RAG

基于圖的RAG系統(tǒng)通過(guò)整合基于圖的數(shù)據(jù)結(jié)構(gòu)進(jìn)行高級(jí)推理，擴(kuò)展了傳統(tǒng)的RAG。

6.1 Agent - G：用于圖RAG的智能體框架

• 核心思想：使用圖知識(shí)庫(kù)和反饋循環(huán)，動(dòng)態(tài)地將任務(wù)分配給專門的智能體。
• 工作流程：

1. 從圖知識(shí)庫(kù)中提取關(guān)系（例如，疾病與癥狀的映射）。
2. 用來(lái)自外部來(lái)源的非結(jié)構(gòu)化數(shù)據(jù)進(jìn)行補(bǔ)充。
3. 使用評(píng)判模塊驗(yàn)證結(jié)果并迭代改進(jìn)。

• 優(yōu)點(diǎn)：
• 結(jié)合了結(jié)構(gòu)化和非結(jié)構(gòu)化數(shù)據(jù)。
• 對(duì)于復(fù)雜任務(wù)具有模塊化和可擴(kuò)展性。
• 通過(guò)迭代優(yōu)化確保高準(zhǔn)確性。

6.2 GeAR：用于RAG的圖增強(qiáng)智能體

• 核心思想：通過(guò)圖擴(kuò)展技術(shù)和基于智能體的架構(gòu)增強(qiáng)RAG系統(tǒng)。
• 工作流程：

1. 擴(kuò)展與查詢相關(guān)的圖，以更好地理解關(guān)系。
2. 利用專門的智能體進(jìn)行多跳推理。
3. 將圖結(jié)構(gòu)和非結(jié)構(gòu)化信息合成為回復(fù)。

• 優(yōu)點(diǎn)：
• 在多跳推理場(chǎng)景中表現(xiàn)出色。
• 提高深度上下文任務(wù)的準(zhǔn)確性。
• 能夠動(dòng)態(tài)適應(yīng)復(fù)雜的查詢環(huán)境。

7. 智能體文檔工作流（ADW）

智能體文檔工作流（ADW）通過(guò)利用智能體自動(dòng)化以文檔為中心的流程，對(duì)傳統(tǒng)的檢索增強(qiáng)生成（RAG）系統(tǒng)進(jìn)行了擴(kuò)展。

工作流程

1. 文檔解析與結(jié)構(gòu)化：

     從諸如發(fā)票或合同等文檔中提取結(jié)構(gòu)化數(shù)據(jù)。

2. 狀態(tài)維護(hù)：

• 在多步驟工作流中跟蹤上下文，以確保一致性。

3. 知識(shí)檢索：

• 從外部來(lái)源或特定領(lǐng)域的數(shù)據(jù)庫(kù)中檢索相關(guān)參考信息。

4. 智能體編排：

• 應(yīng)用業(yè)務(wù)規(guī)則，進(jìn)行多步推理，并協(xié)調(diào)外部應(yīng)用程序編程接口（API）。

5. 可執(zhí)行輸出生成：

• 生成針對(duì)特定用例定制的結(jié)構(gòu)化輸出（例如，報(bào)告或摘要）。

智能體RAG框架的對(duì)比分析

傳統(tǒng)RAG、智能體RAG以及智能體文檔工作流（ADW）。該分析突出了它們各自的優(yōu)勢(shì)、劣勢(shì)及最適用場(chǎng)景，為其在各種不同用例中的適用性提供了寶貴見(jiàn)解。

三種架構(gòu)框架進(jìn)行了全面的對(duì)比分析

關(guān)鍵要點(diǎn)

• 傳統(tǒng)RAG最適合需要基本檢索和生成能力的較簡(jiǎn)單任務(wù)。
• 智能體RAG在多智能體協(xié)作推理方面表現(xiàn)出色，適用于更復(fù)雜的多領(lǐng)域任務(wù)。
• 智能體文檔工作流（ADW）為企業(yè)級(jí)應(yīng)用（如合同分析和發(fā)票處理）提供定制化的、以文檔為中心的解決方案。

參考文獻(xiàn)：

Agentic Retrieval-Augmented Generation: A Survey on Agentic RAG，https://arxiv.org/abs/2501.09136

本文轉(zhuǎn)載自公眾號(hào)大模型自然語(yǔ)言處理  作者：余俊暉

原文鏈接：??https://mp.weixin.qq.com/s/yiHoNn8UH-IQBZN2Ec13qw???