檢索增強(qiáng)生成（RAG：Retrieval-Augmented Generation）技術(shù)可追溯到2020年Facebook發(fā)表的一篇論文：“Retrieval-Augmented Generation for Knowledge-Intensive NLP Tasks”。它結(jié)合了信息檢索和生成模型技術(shù)，通過引入外部知識(shí)庫信息，解決知識(shí)密集型NLP任務(wù)的效果：?jiǎn)柎?、文本摘要等?/p>

大模型RAG之啟蒙

大型語言模型（LLMs）雖然展現(xiàn)出了令人印象深刻的能力，但它們?cè)谔幚硖囟I(lǐng)域或知識(shí)密集型任務(wù)時(shí)面臨諸如產(chǎn)生幻覺（hallucination）、知識(shí)過時(shí)以及推理過程不透明和不可追溯等挑戰(zhàn)。

RAG技術(shù)通過整合外部數(shù)據(jù)庫中的知識(shí)，作為解決這些問題的有前途的方案。它增強(qiáng)了生成的準(zhǔn)確性和可信度，特別是對(duì)于知識(shí)密集型任務(wù)，并允許持續(xù)的知識(shí)更新和整合特定領(lǐng)域的信息。

大模型RAG核心濃縮成兩個(gè)核心階段：

檢索階段：模型首先從外部知識(shí)庫中檢索與輸入文本相關(guān)的信息。這個(gè)知識(shí)庫可以是對(duì)大規(guī)模文本數(shù)據(jù)集進(jìn)行索引處理后形成的數(shù)據(jù)庫。

生成階段：將檢索到的信息作為輸入，到一個(gè)生成模型中（如Llama3）。這個(gè)生成模型會(huì)基于輸入信息，生成最終的響應(yīng)或文本。

高級(jí)RAG之36技 

從架構(gòu)、模塊、技術(shù)三個(gè)維度講解了整個(gè)大模型高級(jí)RAG企業(yè)落地全過程之技術(shù)要點(diǎn)，一個(gè)框架、10個(gè)模塊、36種技術(shù)！對(duì)一些復(fù)雜核心模塊：分塊、向量、重排也進(jìn)行了系統(tǒng)性總結(jié)和概況！

Query理解（Query NLU）：使用LLM作為基礎(chǔ)引擎來重寫用戶Query以提高檢索質(zhì)量，涉及Query意圖識(shí)別、消歧、分解、抽象等，總計(jì)7種技術(shù)。

Query路由（Query Routing）：查詢路由是LLM支持的決策步驟，根據(jù)給定的用戶查詢下一步該做什么，總計(jì)1種技術(shù)。

索引（Indexing）：是當(dāng)前RAG中比較核心的模塊，包括文檔解析（5種工具）、文檔切塊（5類）、嵌入模型（6類）、索引類型（3類）等內(nèi)容，總計(jì)8種技術(shù)。

Query檢索（Query Retrieval）：重點(diǎn)關(guān)注除典型RAG的向量檢索之外的圖譜與關(guān)系數(shù)據(jù)庫檢索（NL2SQL），總計(jì)3種技術(shù)。

重排（Rerank）：來自不同檢索策略的結(jié)果往往需要重排對(duì)齊，包括重排器類型（5種），自訓(xùn)練領(lǐng)域重排器等，總計(jì)3種技術(shù)。

生成（Generation）：實(shí)際企業(yè)落地會(huì)遇到生成重復(fù)、幻覺、通順、美化、溯源等問題，涉及到RLHF、偏好打分器、溯源SFT、Self-RAG等等，總計(jì)7種技術(shù)。

評(píng)估與框架：RAG需要有全鏈路的評(píng)價(jià)體系，作為RAG企業(yè)上線與迭代的依據(jù)，總計(jì)3種技術(shù)。

RAG新技術(shù)：RAG未來將走向哪里？探討未來的一些可能得方向，以及如何實(shí)現(xiàn)，總計(jì)3種技術(shù)。

一張全景框架圖，梳理了10個(gè)模塊，36種技術(shù)（原版圖，可編輯）

終章之Agentic RAG

最終，大模型RAG問答終章是Agentic RAG!?

向Lv2-智能體提出一個(gè)問題。
while (Lv2-智能體無法根據(jù)其記憶回答問題) {
    Lv2-智能體提出一個(gè)新的子問題待解答。
    Lv2-智能體向Lv1-RAG提問這個(gè)子問題。
    將Lv1-RAG的回應(yīng)添加到Lv2-智能體的記憶中。
}
Lv2-智能體提供原始問題的最終答案。

例如，Query：“與第五交響曲創(chuàng)作于同一世紀(jì)的交通工具是什么？”，Agent分兩個(gè)子問題來解決：

• 第一個(gè)子問題：“第五交響曲是在哪個(gè)世紀(jì)創(chuàng)作的？”
• 第二個(gè)子問題：“19世紀(jì)發(fā)明的交通工具”

本文轉(zhuǎn)載自?? PaperAgent??，作者： PaperAgent