RAG訪問外部知識(shí)庫增強(qiáng)了LLMs處理知識(shí)密集型任務(wù)的能力，隨著應(yīng)用場(chǎng)景需求的增加，RAG系統(tǒng)變得更加復(fù)雜。傳統(tǒng)的RAG依賴于簡(jiǎn)單的相似性檢索，面對(duì)復(fù)雜查詢和變化多端的文本塊時(shí)表現(xiàn)不佳：對(duì)查詢的淺層理解、檢索冗余和噪聲。

樸素RAG和高級(jí)RAG的案例。面對(duì)復(fù)雜問題時(shí)，兩者都遇到了限制，難以提供令人滿意的答案。盡管高級(jí)RAG通過分層索引、檢索前和檢索后的過程提高了檢索精度，但這些相關(guān)文檔并沒有被正確使用。

提出了一種新的模塊化RAG框架，通過將復(fù)雜的RAG系統(tǒng)分解為三層架構(gòu)設(shè)計(jì)（模塊、子模塊和操作符）以統(tǒng)一和結(jié)構(gòu)化的方式定義RAG系統(tǒng)，增強(qiáng)了系統(tǒng)的靈活性和可擴(kuò)展性，這種框架超越了傳統(tǒng)的線性架構(gòu)，采用了集成路由、調(diào)度和融合機(jī)制的更先進(jìn)設(shè)計(jì)。

當(dāng)前模塊化RAG的案例。該系統(tǒng)整合了多樣化的數(shù)據(jù)和更多功能性組件。過程不再局限于線性，而是由多個(gè)控制組件控制檢索和生成，使整個(gè)系統(tǒng)更加靈活和復(fù)雜。

模塊化RAG框架與符號(hào)

1. RAG系統(tǒng)組成：典型的RAG系統(tǒng)主要由三個(gè)關(guān)鍵部分組成：索引（Indexing）、檢索（Retrieval）和生成（Generation）。
2. 索引（Indexing）：文檔被分割成可管理的塊（chunks），并通過嵌入模型轉(zhuǎn)換成向量，存儲(chǔ)在向量數(shù)據(jù)庫中。這一步驟是系統(tǒng)組織的關(guān)鍵。
3. 檢索（Retrieval）：使用相同的編碼模型將查詢轉(zhuǎn)換成向量，然后根據(jù)向量相似度篩選出最相關(guān)的文檔塊。
4. 生成（Generation）：獲取相關(guān)文檔后，將查詢和檢索到的文檔一起輸入到大型語言模型（LLM）中，生成最終答案。
5. 模塊化RAG框架：隨著RAG技術(shù)的發(fā)展，系統(tǒng)整合了越來越多的功能組件。模塊化RAG框架包括三個(gè)層次，從大到小分別是：

L1 模塊（Module）：RAG系統(tǒng)的核心過程。

L2 子模塊（Sub-module）：模塊內(nèi)的功能模塊。

L3 操作符（Operator）：模塊或子模塊中具體的功能實(shí)現(xiàn)。

6. RAG Flow：模塊和操作符的排列構(gòu)成了RAG Flow，這是RAG系統(tǒng)的工作流程。RAG Flow可以分解為子功能的圖形表示，在最簡(jiǎn)單的情況下，圖形是線性鏈。
7. 符號(hào)描述：文中提供了一個(gè)重要符號(hào)的表格，定義了如下符號(hào)：

模塊化RAG模塊和操作符

詳細(xì)介紹了模塊化RAG框架下的六個(gè)主要模塊以及所使用的的具體技術(shù)：索引、檢索前處理、檢索、檢索后處理、生成和編排。

三種RAG范式的比較。模塊化RAG從之前的范式中發(fā)展而來，并與當(dāng)前RAG系統(tǒng)的實(shí)際需求相一致。

1. 索引（Indexing）：

將文檔分割成易于管理的塊，是系統(tǒng)組織的關(guān)鍵步驟。

面臨的挑戰(zhàn)包括內(nèi)容表示不完整、塊相似度搜索不準(zhǔn)確和引用軌跡不清晰。

解決方案包括塊優(yōu)化（如調(diào)整塊大小和重疊）、元數(shù)據(jù)附加和結(jié)構(gòu)化組織。

技術(shù)包括：

• 塊優(yōu)化（Chunk Optimization）：調(diào)整塊的大小和重疊以優(yōu)化語義信息的捕獲和噪聲的控制。
• 元數(shù)據(jù)附加（Metadata Attachment）：為塊附加元數(shù)據(jù)，如頁碼、文件名等，以增強(qiáng)檢索的過濾能力。
• 結(jié)構(gòu)化組織（Structure Organization）：建立文檔的層次結(jié)構(gòu)，如段落和句子的分割，以提高檢索效率。
• 知識(shí)圖譜索引（KG Index）：使用知識(shí)圖譜來組織文檔，明確概念和實(shí)體之間的關(guān)系。

2. 檢索前處理（Pre-retrieval）：

• 改進(jìn)原始查詢以提高檢索效果，解決諸如查詢表述不清、語言復(fù)雜性和歧義等問題。
• 方法包括查詢擴(kuò)展、查詢轉(zhuǎn)換和查詢構(gòu)造。
• 技術(shù)包括：

查詢擴(kuò)展（Query Expansion）：通過擴(kuò)展查詢來豐富上下文，提高檢索的相關(guān)性。

查詢轉(zhuǎn)換（Query Transformation）：對(duì)原始查詢進(jìn)行改寫或轉(zhuǎn)換以提高檢索的準(zhǔn)確性。

查詢構(gòu)建（Query Construction）：根據(jù)需要將查詢轉(zhuǎn)換為不同的查詢語言，如SQL或Cypher，以訪問結(jié)構(gòu)化數(shù)據(jù)。

3. 檢索（Retrieval）：

• 利用強(qiáng)大的嵌入模型在潛在空間中高效表示查詢和文本，建立問題與文檔之間的語義相似性。
• 考慮因素包括檢索器的選擇、檢索器微調(diào)以及檢索效率和質(zhì)量。
• 技術(shù)包括：

檢索器選擇（Retriever Selection）：根據(jù)任務(wù)需求選擇合適的檢索器，包括稀疏檢索器、密集檢索器和混合檢索器。

檢索器微調(diào)（Retriever Fine-tuning）：對(duì)檢索器進(jìn)行微調(diào)以適應(yīng)特定領(lǐng)域的數(shù)據(jù)和術(shù)語。

4. 檢索后處理（Post-retrieval）：

• 對(duì)檢索到的文檔塊進(jìn)行后處理，以更好地利用上下文信息。
• 包括重新排序、壓縮和選擇操作，以提高最終生成答案的質(zhì)量。
• 技術(shù)包括：

重排（Rerank）：根據(jù)相關(guān)性對(duì)檢索到的文檔塊進(jìn)行重新排序。

壓縮（Compression）：壓縮檢索到的內(nèi)容，以減少噪聲并提高LLM對(duì)關(guān)鍵信息的識(shí)別。

選擇（Selection）：直接移除不相關(guān)或冗余的文檔塊。

5. 生成（Generation）：

• 使用大型語言模型基于用戶的查詢和檢索到的上下文信息生成答案。
• 考慮因素包括生成器微調(diào)和答案的驗(yàn)證。
• 技術(shù)包括：

生成器微調(diào)（Generator Fine-tuning）：根據(jù)特定領(lǐng)域或數(shù)據(jù)特性對(duì)生成器進(jìn)行微調(diào)，以提高生成答案的質(zhì)量。

驗(yàn)證（Verification）：通過知識(shí)庫或模型基礎(chǔ)的方法對(duì)生成的答案進(jìn)行驗(yàn)證，以減少錯(cuò)誤信息。

6. 編排（Orchestration）：

• 控制RAG過程的模塊，包括路由、調(diào)度和融合。
• 動(dòng)態(tài)選擇后續(xù)步驟，根據(jù)前一個(gè)結(jié)果進(jìn)行決策。
• 技術(shù)包括：

路由（Routing）：根據(jù)查詢的類型或內(nèi)容將查詢定向到不同的處理流程。

調(diào)度（Scheduling）：管理RAG流程中的決策點(diǎn)，如何時(shí)進(jìn)行檢索或生成。

融合（Fusion）：整合來自多個(gè)分支的信息，以形成一個(gè)全面且一致的響應(yīng)。

模塊化RAG流程及其模式

詳細(xì)探討了模塊化RAG系統(tǒng)中的工作流模式，即RAG流程（RAG Flow）及其模式（Flow Pattern）。

RAG Flow的定義：

RAG Flow是模塊和操作符之間的協(xié)作，形成模塊化RAG系統(tǒng)中的工作流程。

通過控制邏輯，操作符可以按照預(yù)定的管道執(zhí)行，也可以在必要時(shí)執(zhí)行條件、分支或循環(huán)操作。

RAG Flow Pattern：

識(shí)別并定義了一組常見的RAG流程模式，這些模式跨越不同的應(yīng)用領(lǐng)域，展現(xiàn)出高度的一致性和可重用性。

RAG流程模式可以定義為一系列模塊的有序連接，每個(gè)模塊包含一組操作符。

• 線性模式（Linear Pattern）：

最簡(jiǎn)單且最常用的模式，模塊按照固定的順序執(zhí)行。

線性RAG流程模式。每個(gè)模塊按固定的順序依次處理。

技術(shù)包括查詢轉(zhuǎn)換（Query Transform Module）、檢索（Retrieval）、重排（Rerank）、生成（Generation）。

例如，RRR（RewriteRetrieve-Read）模型，它在檢索前引入了一個(gè)可學(xué)習(xí)的查詢改寫模塊。

RRR是一種典型的線性流程，它在檢索之前引入了一個(gè)可學(xué)習(xí)的查詢重寫模塊。該模塊基于大型語言模型（LLM）的輸出結(jié)果進(jìn)行強(qiáng)化學(xué)習(xí)。

• 條件模式（Conditional Pattern）

根據(jù)不同的條件選擇不同的RAG管道。

通過路由模塊決定流程的下一個(gè)模塊。

 條件流程模式。存在一個(gè)路由模塊，它控制查詢被導(dǎo)向哪個(gè) RAG 流程。通常，不同的流程用于不同的配置，以滿足 RAG 系統(tǒng)的一般要求。

• 分支模式（Branching Pattern）

RAG流程可能有多個(gè)并行運(yùn)行的分支，通常是為了增加生成結(jié)果的多樣性。

分為檢索前分支（Pre-retrieval Branching）和檢索后分支（Post-retrieval Branching）。

檢索前分支模式（Pre-retrieval Branching Pattern）:

技術(shù)包括查詢擴(kuò)展（Query Expansion）、并行檢索（Parallel Retrieval）、生成（Generation）、合并（Merge）。

檢索前分支流程模式。每個(gè)分支分別執(zhí)行檢索和生成，然后在最后進(jìn)行聚合。

檢索后分支模式（Post-retrieval Branching Pattern）:

技術(shù)包括單一查詢檢索（Single Query Retrieval）、并行生成（Parallel Generation）、合并（Merge）。

檢索后分支流程模式。只執(zhí)行一次檢索，然后對(duì)每個(gè)檢索到的文檔塊分別進(jìn)行生成，隨后進(jìn)行聚合。

REPLUG中的 RAG 流程，遵循典型的檢索后分支模式。每個(gè)檢索到的塊都經(jīng)歷并行生成，然后使用加權(quán)概率集合進(jìn)行聚合。

• 循環(huán)模式（Loop Pattern）

涉及檢索和生成步驟的相互依賴，通常包括一個(gè)調(diào)度模塊來控制流程。

包括迭代檢索（Iterative Retrieval）、遞歸檢索（Recursive Retrieval）、自適應(yīng)檢索（Adaptive Retrieval）。

循環(huán)流程模式。通常，RAG 系統(tǒng)執(zhí)行多輪檢索和生成。它可以被分類為三種形式：迭代、遞歸和自適應(yīng)。

ITER-RETGEN是一種典型的迭代結(jié)構(gòu)。在最大迭代次數(shù)的限制內(nèi)執(zhí)行多輪檢索和生成。

ToC的 RAG 流程。這個(gè)過程的一個(gè)典型特點(diǎn)是，每次遞歸檢索都使用前一步生成的新查詢，從而逐步深化對(duì)原始復(fù)雜查詢的分析。

自適應(yīng)檢索：FLARE的RAG流程。生成的臨時(shí)答案將進(jìn)行置信度評(píng)估。如果它未達(dá)到所需的置信度水平，流程將返回到檢索階段并重新生成。評(píng)估標(biāo)準(zhǔn)是通過提示實(shí)現(xiàn)的。

自適應(yīng)檢索：SELF-RAG的RAG流程。首先，它提示 GPT-4 獲取一個(gè)合適的指令微調(diào)數(shù)據(jù)集，以微調(diào)部署的開源大型語言模型（LLM）。這允許模型在生成過程中輸出四個(gè)特定的令牌，這些令牌用于控制 RAG 流程。

• 調(diào)優(yōu)模式（Tuning Pattern）

RAG不斷整合更多的LLM相關(guān)技術(shù)，其中許多組件由可訓(xùn)練的語言模型組成。

通過微調(diào)，可以進(jìn)一步優(yōu)化組件的性能和與整體流程的兼容性。

包括檢索器微調(diào)（Retriever Fine-tuning）、生成器微調(diào)（Generator Fine-tuning）、雙重微調(diào)（Dual Fine-tuning）。

檢索器微調(diào)模式，主要包括直接的直接微調(diào)（SFT）、添加可訓(xùn)練的適配器、受語言模型監(jiān)督的檢索和基于大型語言模型（LLM）獎(jiǎng)勵(lì)的強(qiáng)化學(xué)習(xí)（RL）。

生成器微調(diào)模式，主要方法包括直接微調(diào)（SFT）、蒸餾以及來自大型語言模型（LLM）/人類反饋的強(qiáng)化學(xué)習(xí)（RL）。

雙重微調(diào)模式。在這種模式下，檢索器和生成器都參與微調(diào)，它們的偏好將被對(duì)齊。

最后，PaperAgent團(tuán)隊(duì)也根據(jù)在RAG方面的實(shí)踐經(jīng)驗(yàn)，梳理了一張模塊化RAG全景框架圖，共計(jì)8個(gè)模塊，36種技術(shù)：

PaperAgent-RAG專欄試看：

??https://docs.qq.com/aio/DR0dBWm9WYlJNckxw??

https://arxiv.org/abs/2407.21059
Modular RAG: Transforming RAG Systems into LEGO-like Reconfigurable Frameworks

本文轉(zhuǎn)載自??PaperAgent??，作者：PaperAgent ????