0、RAG 簡介

RAG（Retrieval Augmented Generation）結(jié)合知識(shí)庫檢索與大模型回答，確保信息可靠且精準(zhǔn)，同時(shí)節(jié)省了微調(diào)成本。

RAG 流程簡要概括為3步，對應(yīng)其名：

1、檢索：借助 Embedding，將問題轉(zhuǎn)化為向量，比對知識(shí)庫，選取最相關(guān)的 Top K 知識(shí)。

2、增強(qiáng)：結(jié)合檢索出的上下文和問題，構(gòu)造 Prompt。

3. 生成：將 Prompt 輸入大模型，產(chǎn)出答案。

從工程視角劃分，RAG 實(shí)施分為兩階段：

階段一：離線數(shù)據(jù)預(yù)處理：涵蓋知識(shí)文件導(dǎo)入、文本切分、向量構(gòu)建及數(shù)據(jù)庫存儲(chǔ)，完成知識(shí)的索引構(gòu)建。

階段二、在線應(yīng)用推理執(zhí)行：實(shí)時(shí)執(zhí)行信息檢索與大模型內(nèi)容生成任務(wù)，實(shí)現(xiàn)交互式問答流程。

1、數(shù)據(jù)準(zhǔn)備階段的挑戰(zhàn)一

挑戰(zhàn)一：文本劃分不當(dāng)，影響檢索內(nèi)容的精確度與全面性。?

文本塊的劃分尺寸直接關(guān)系到查詢時(shí)與用戶提問的貼合度：過小的區(qū)塊可能無法涵蓋問題所有相關(guān)內(nèi)容；反之，過大則易引入冗余信息。

當(dāng)前多種文本切分策略存在，但理想的切分方法需貼合特定領(lǐng)域文檔特性，考慮因素包括文件格式、作者書寫習(xí)慣及表述模式等。因此，選取最合適的切塊策略需依據(jù)具體情況，并可能針對文檔的不同類別采取定制化處理。核心在于確保分割邏輯遵循語義完整性，以實(shí)現(xiàn)內(nèi)容的有效組織。

2、數(shù)據(jù)檢索階段的挑戰(zhàn)二

挑戰(zhàn)二：盡管向量檢索作為主流方法依賴于相似度評估，但它亦面臨多方面局限。

1、語義理解偏差：向量表示偶爾難以區(qū)分近義概念的細(xì)微差異，可能引起誤解。

2、維度考量失衡：如余弦相似度側(cè)重向量方向而非其規(guī)模，可能導(dǎo)致雖方向相近但在意義層面相去甚遠(yuǎn)的匹配。

3、信息粒度不協(xié)調(diào)：用戶查詢的精確向量可能指向具體信息點(diǎn)，而數(shù)據(jù)庫條目若是寬泛主題，則檢索結(jié)果易過度泛化。

4、上下文匹配不足：現(xiàn)有向量搜索技術(shù)偏向整體相似性判斷，可能忽略局部或特定上下文中的更高相似度信息。

5、稀疏數(shù)據(jù)檢索難：在大規(guī)模知識(shí)庫中定位關(guān)鍵片段尤為困難，特別是當(dāng)所需信息零散分布于多文檔時(shí)，此挑戰(zhàn)更為顯著。

3、數(shù)據(jù)檢索階段的挑戰(zhàn)三

挑戰(zhàn)三：多個(gè)檢索結(jié)果排名和優(yōu)先級不合適，導(dǎo)致大模型的回答沒有抓住重點(diǎn)。

準(zhǔn)確評估并排序多個(gè)檢索片段對于生成高質(zhì)量回答極為關(guān)鍵，此過程需精密平衡各段落的相關(guān)性和重要性。這不僅考驗(yàn)著排序算法的有效性，還隱含了對領(lǐng)域知識(shí)深入理解的需求，以便在信息篩選與排序階段實(shí)現(xiàn)智能化決策。

4、大模型生成階段的挑戰(zhàn)四

挑戰(zhàn)四：提升 Prompt 設(shè)計(jì)以引導(dǎo)大模型依據(jù)既有知識(shí)庫與提示詞，輸出更佳答案是一項(xiàng)重大任務(wù)。

Prompt 創(chuàng)作遠(yuǎn)超于問題與檢索材料的直接整合，它要求根據(jù)生成模型的獨(dú)特性，采取定制化的表述策略與附加指導(dǎo)。為了約束大模型潛在的泛化偏差，確立一個(gè)恒定的“角色框架”顯得尤為關(guān)鍵，比如：明確指示大模型“扮演該領(lǐng)域的權(quán)威學(xué)者”，或“僅限于利用提問與關(guān)聯(lián)素材進(jìn)行精要概述與總結(jié)”，從而在各種情境下維持回答的精準(zhǔn)度與相關(guān)性。

5、大模型生成階段的挑戰(zhàn)五

挑戰(zhàn)五：確保大模型回應(yīng)的連貫性與一致性，面臨的信息整合難題尤為突出。

大模型需面對的挑戰(zhàn)在于，整合源自多樣文獻(xiàn)的知識(shí)碎片，以及用戶提問中多關(guān)鍵詞觸發(fā)的多樣化內(nèi)容。在此基礎(chǔ)上，大模型必須展現(xiàn)出高度的整合能力，使得最終的輸出結(jié)果不僅在邏輯鏈條上緊密相連，而且在觀點(diǎn)與事實(shí)的呈現(xiàn)上保持高度一致，這一過程對大模型的綜合推理與銜接能力提出了嚴(yán)峻考驗(yàn)。

6、大模型生成階段的挑戰(zhàn)六

挑戰(zhàn)六：大模型如何更好地理解領(lǐng)域知識(shí)片段。

各個(gè)大模型在掌握特定領(lǐng)域知識(shí)及專業(yè)術(shù)語的深度不一，致使它們在解析檢索到的信息及構(gòu)造反饋時(shí)展現(xiàn)出差異性?？s小這一差距的關(guān)鍵，在于實(shí)施針對性的微調(diào)策略，旨在強(qiáng)化大模型對該領(lǐng)域的語言理解力及內(nèi)容生成的精準(zhǔn)度，從而促進(jìn)其更深層次地融入與適應(yīng)專業(yè)話語體系。

7、知識(shí)準(zhǔn)備階段的挑戰(zhàn)七

挑戰(zhàn)七：優(yōu)化 RAG 的瓶頸：確保高效且可靠的問答對供給。

在追求 RAG 系統(tǒng)性能巔峰的過程中，大量高質(zhì)量的問答對用作調(diào)優(yōu)數(shù)據(jù)顯得至關(guān)重要。盡管廣泛認(rèn)同豐富 QA 對的積累能極大促進(jìn)調(diào)優(yōu)效果，但手動(dòng)創(chuàng)建這些資源無疑是一項(xiàng)耗時(shí)巨大的工程，而依賴自動(dòng)化生成則可能犧牲內(nèi)容的可靠性。因此，探索一種既能保證效率又能維護(hù)準(zhǔn)確性的 QA 對生成機(jī)制，成為決定 RAG 系統(tǒng)最終成效的核心挑戰(zhàn)。

8、意圖識(shí)別階段的挑戰(zhàn)八

挑戰(zhàn)八：界定合理拒答的微妙平衡。

面對用戶提問，尤其當(dāng)問題超越了現(xiàn)有文獻(xiàn)資料范疇時(shí)，恰當(dāng)時(shí)機(jī)的拒答成為一大考驗(yàn)。應(yīng)當(dāng)在無法給予確切信息時(shí)勇于說“不知道”，以免提供錯(cuò)誤引導(dǎo)。實(shí)踐中，雖常借助相似度閾值或場景語料庫作為判斷標(biāo)尺，卻依然難以實(shí)現(xiàn)百分之百的精準(zhǔn)。過于頻繁的拒答可能導(dǎo)致用戶體驗(yàn)冷漠，而過度猜測回答又可能損害系統(tǒng)信譽(yù)。因此，拿捏拒答的恰當(dāng)火候，成為維護(hù)問答系統(tǒng)信譽(yù)與用戶信任的關(guān)鍵。

9、多模態(tài) RAG 的挑戰(zhàn)九

挑戰(zhàn)九：多模態(tài)的支持是必然趨勢。

在多模態(tài) RAG 的研究中，針對不同的模態(tài)，包括：圖像、代碼、結(jié)構(gòu)化知識(shí)、音頻和視頻，有不同的檢索和合成程序、目標(biāo)任務(wù)和挑戰(zhàn)。比如：通過圖像檢索擴(kuò)展文本生成的上下文，利用樣例代碼和相關(guān)文檔增強(qiáng)代碼生成等等。

10、RAG 評價(jià)的挑戰(zhàn)十

挑戰(zhàn)十：科學(xué)衡量 RAG 在特定領(lǐng)域的實(shí)用性門檻。

評估 RAG 在某一領(lǐng)域的應(yīng)用成熟度，類似于采用 RAGAs 評估框架，需獨(dú)立提供問題(question)與標(biāo)準(zhǔn)答案(ground_truth)，這使得評估結(jié)果高度依賴于問題設(shè)計(jì)的合理性與標(biāo)準(zhǔn)答案的準(zhǔn)確性。

此外，評估流程的復(fù)雜性—涉及大模型及嵌入模型的性能，進(jìn)一步要求模型本身的穩(wěn)定可靠，以及輸入 Prompt 的精確無誤，否則評估指標(biāo)將失去可信度。因此，確保大模型與 Prompt 的質(zhì)量，成為驗(yàn)證 RAG 應(yīng)用效能的關(guān)鍵挑戰(zhàn)。

本文轉(zhuǎn)載自公眾號(hào)玄姐聊AGI  作者：玄姐

原文鏈接：??https://mp.weixin.qq.com/s/yrKYe9chlzkqxVxBpQCoig??