自拍偷在线精品自拍偷,亚洲欧美中文日韩v在线观看不卡

最新開源Auto-RAG:最低成本解決多跳問題

發(fā)布于 2024-12-10 11:02
瀏覽
0收藏

1.引言

最新開源Auto-RAG:最低成本解決多跳問題-AI.x社區(qū)

最新開源Auto-RAG:最低成本解決多跳問題-AI.x社區(qū)

1.1 RAG 的局限與迭代檢索的提出

在知識密集型任務(wù)中,大語言模型(LLMs)的檢索增強(qiáng)生成(RAG)雖應(yīng)用廣泛,能提升輸出質(zhì)量、減少幻覺,但仍存缺陷。比如,檢索內(nèi)容常含噪聲,這會致使 RAG 系統(tǒng)性能下滑。復(fù)雜查詢時(shí),單次檢索難以獲取充足知識,進(jìn)而阻礙 RAG 系統(tǒng)的廣泛應(yīng)用。

為攻克這些難題,迭代檢索應(yīng)運(yùn)而生,其持續(xù)更新檢索結(jié)果,以契合生成進(jìn)程里動(dòng)態(tài)變化的信息需求??涩F(xiàn)有的迭代檢索方法多依賴少樣本提示或手動(dòng)構(gòu)建規(guī)則。這類方式需大量人力,推理時(shí)計(jì)算成本頗高。更為關(guān)鍵的是,它們忽視了 LLMs 強(qiáng)大的推理與決策能力,未能充分挖掘模型在判定檢索時(shí)機(jī)與內(nèi)容上的潛力,造成資源浪費(fèi)。

1.2 Auto-RAG 的創(chuàng)新點(diǎn)與優(yōu)勢

鑒于現(xiàn)有方法的不足,我們設(shè)計(jì)了 Auto-RAG,這一以 LLMs 強(qiáng)大決策能力為核心的自主迭代檢索模型。它借助多輪對話與檢索器交互,精心規(guī)劃檢索流程、優(yōu)化查詢語句,直至采集到充足外部知識,最終為用戶輸出精準(zhǔn)結(jié)果。

為賦予 LLMs 迭代檢索中的自主決策本領(lǐng),我們構(gòu)建了自動(dòng)合成基于推理的決策指令框架,并對最新開源 LLMs 進(jìn)行微調(diào)。經(jīng)在六個(gè)具代表性基準(zhǔn)測試的驗(yàn)證,即便訓(xùn)練數(shù)據(jù)有限,Auto-RAG 也表現(xiàn)卓越。其能依問題難度與檢索知識的效用,自動(dòng)調(diào)整迭代次數(shù),無需人工干預(yù)。而且,它以自然語言呈現(xiàn)迭代檢索過程,提升可解釋性,賦予用戶更直觀體驗(yàn)。例如在處理復(fù)雜多跳問題時(shí),Auto-RAG 可通過迭代推理,從檢索到的眾多文檔中精準(zhǔn)提取關(guān)鍵知識,逐步逼近正確答案,過程清晰透明,結(jié)果準(zhǔn)確可靠。

2.相關(guān)工作

2.1 檢索增強(qiáng)生成(RAG)

RAG 的誕生,旨在應(yīng)對模型參數(shù)中知識過時(shí)以及 LLMs 對長尾知識保留不佳的困境。常見的 RAG 方法遵循檢索-讀取框架,即將檢索文檔與用戶輸入拼接,為 LLMs 補(bǔ)充外部知識。然而,檢索器并非完美無缺,檢索內(nèi)容的噪聲問題,已被眾多研究證實(shí)會損害 RAG 系統(tǒng)性能。

為此,學(xué)界展開多方面探索。在查詢表述優(yōu)化上,通過改進(jìn)查詢構(gòu)建方式,提升檢索精準(zhǔn)度;檢索器增強(qiáng)方面,采取優(yōu)化檢索器架構(gòu)與算法,提高檢索效率與質(zhì)量;生成器改進(jìn)方向,著力優(yōu)化生成模型,增強(qiáng)其基于檢索知識生成高質(zhì)量文本的能力;檢索文檔后處理優(yōu)化領(lǐng)域,通過對檢索文檔的篩選、整合與提煉,提升知識可用性。但隨著任務(wù)復(fù)雜度攀升,單次檢索獲取足量知識愈發(fā)困難,這些方法仍未徹底解決問題。

2.2 迭代檢索

迭代檢索是為處理復(fù)雜問題求解時(shí)動(dòng)態(tài)變化的知識需求而設(shè),關(guān)鍵在于精準(zhǔn)判定檢索時(shí)機(jī)與內(nèi)容。諸如 ITER-RETGEN 將輸入問題與前次迭代生成的輸出拼接成新查詢,雖取得一定成果,但僅反映既有知識,未明確揭示 LLMs 的信息需求。以生成的下一句為查詢,并依檢索結(jié)果優(yōu)化前一句,雖更精準(zhǔn)定位信息需求,卻高度依賴精心設(shè)計(jì)的少樣本提示,需持續(xù)檢索與優(yōu)化,人力成本與推理成本居高不下。Self-RAG 訓(xùn)練 LLMs 反思檢索與生成內(nèi)容,但學(xué)習(xí)過程機(jī)械,未有效培育推理能力,限制了模型表現(xiàn)。

與上述方法相較,Auto-RAG 全面釋放 LLMs 在迭代檢索中的推理式自主決策潛能,憑借推理自主抉擇檢索時(shí)機(jī)與內(nèi)容,性能更優(yōu)、效率更高,為迭代檢索開辟新路徑。

3.方法

3.1 基于推理的迭代檢索

我們將迭代檢索視作 LLM 與檢索器的多輪交互流程。用戶查詢觸發(fā)交互,持續(xù)至獲取充足知識形成最終答案。每次迭代中,Auto-RAG 依當(dāng)前狀態(tài)深度推理,判斷是否需額外檢索及確定所需信息,待知識完備則停止查詢并作答。

3.1.1 基于推理的規(guī)劃與查詢優(yōu)化

為優(yōu)化迭代效率與連貫性,我們構(gòu)建契合人類認(rèn)知的推理范式,涵蓋檢索規(guī)劃、信息提取、答案推斷三個(gè)核心環(huán)節(jié):

檢索規(guī)劃:接收用戶問題時(shí),LLM 需精準(zhǔn)明確解答所需知識,檢索文檔后評估是否需進(jìn)一步檢索及明確后續(xù)檢索方向。此規(guī)劃全程至關(guān)重要,如同導(dǎo)航系統(tǒng),可提升檢索效率、規(guī)避迷失方向風(fēng)險(xiǎn)(Wang 等人,2024a)。例如在歷史知識問答中,面對“文藝復(fù)興對歐洲科技發(fā)展的影響”問題,LLM 應(yīng)迅速梳理出需檢索文藝復(fù)興時(shí)期科技成果、代表人物貢獻(xiàn)、社會環(huán)境變革等知識要點(diǎn),并依據(jù)首輪檢索結(jié)果決定是否深入挖掘特定領(lǐng)域知識或拓展檢索范疇。

信息提?。禾幚頇z索文檔時(shí),LLM 應(yīng)高效提取關(guān)鍵信息,過濾無關(guān)內(nèi)容。這一過程類似專業(yè)學(xué)者研讀文獻(xiàn),提煉精華,增強(qiáng)處理外部知識的效率與準(zhǔn)確性(Wei 等人,2023;Xu 等人,2024)。以醫(yī)學(xué)研究文獻(xiàn)檢索為例,面對海量醫(yī)學(xué)論文,LLM 需精準(zhǔn)提取疾病病因、癥狀、治療方案、實(shí)驗(yàn)數(shù)據(jù)等核心信息,摒棄無關(guān)的研究背景、實(shí)驗(yàn)設(shè)備介紹等冗余內(nèi)容,為答案推斷筑牢基礎(chǔ)。

答案推斷:集齊解答問題的全部知識后,LLM 運(yùn)用推理生成準(zhǔn)確答案,降低幻覺風(fēng)險(xiǎn),確?;貞?yīng)可靠精準(zhǔn)(Wei 等人,2023)。如在復(fù)雜物理問題求解中,綜合各類物理定律、實(shí)驗(yàn)數(shù)據(jù)及現(xiàn)象描述后,LLM 經(jīng)嚴(yán)謹(jǐn)推理得出符合物理原理與實(shí)際情況的答案,避免無根據(jù)的臆測與錯(cuò)誤結(jié)論。

這三種推理共同構(gòu)成迭代檢索的思維鏈條。我們采用少樣本提示法激發(fā)推理過程,依實(shí)際情境靈活調(diào)整步驟。初始接收問題時(shí)可省略后兩步,檢索信息全無關(guān)時(shí)跳過信息提取,確保模型依據(jù)情境精準(zhǔn)判斷,而非機(jī)械模仿與虛構(gòu)答案。用于激發(fā)推理的提示示例見附錄C.1,同時(shí)利用靈活提示策略生成多樣查詢,擺脫少樣本提示的風(fēng)格局限,提升檢索靈活性與全面性。

3.1.2 數(shù)據(jù)過濾與格式化

數(shù)據(jù)過濾:雖闡明迭代檢索推理與查詢優(yōu)化方法,但仍可能產(chǎn)生推理瑕疵或不佳查詢。我們通過對生成的推理與查詢篩選。在含子答案的多跳問答數(shù)據(jù)集里,每次檢索迭代多采樣查詢,保留檢索文檔含子答案的查詢。同時(shí),若最終答案與數(shù)據(jù)集參考答案吻合,則保留數(shù)據(jù),確保迭代檢索質(zhì)量與答案連貫性。算法 1 清晰勾勒指令合成與過濾框架,從源頭提升數(shù)據(jù)質(zhì)量,為模型訓(xùn)練與性能優(yōu)化奠定堅(jiān)實(shí)基礎(chǔ)。

最新開源Auto-RAG:最低成本解決多跳問題-AI.x社區(qū)

數(shù)據(jù)格式化:將迭代檢索視作多輪交互對話,各輪輸入為用戶問題或檢索文檔,輸出是 LLM 的推理、檢索規(guī)劃或最終答案。

3.2 訓(xùn)練

為賦予任意 LLM 迭代檢索自主決策能力,我們選用標(biāo)準(zhǔn)監(jiān)督微調(diào)策略。依公式 :

最新開源Auto-RAG:最低成本解決多跳問題-AI.x社區(qū)

計(jì)算交叉熵?fù)p失,通過反向傳播優(yōu)化模型參數(shù),使模型學(xué)習(xí)到精準(zhǔn)的決策模式與推理邏輯,提升在迭代檢索任務(wù)中的性能表現(xiàn)。

3.3 推理

最新開源Auto-RAG:最低成本解決多跳問題-AI.x社區(qū)

最新開源Auto-RAG:最低成本解決多跳問題-AI.x社區(qū)

4.實(shí)驗(yàn)

4.1 實(shí)驗(yàn)設(shè)置

本研究聚焦 Auto-RAG 于問答(QA)任務(wù)應(yīng)用,涵蓋開放域 QA與多跳 QA領(lǐng)域。

為訓(xùn)練 Auto-RAG,我們以 Natural Questions(NQ)和 2WikiMultihopQA(2Wiki)兩個(gè)代表性數(shù)據(jù)集為藍(lán)本,精心合成 10,000 條基于推理的指令。選用 Llama-3-8B-Instruct 塑造推理過程,Qwen1.5-32B-Chat 構(gòu)建改寫查詢,隨后用合成指令對 Llama-3-8B-Instruct 微調(diào)五輪,強(qiáng)化其迭代檢索自主決策能力。訓(xùn)練數(shù)據(jù)迭代次數(shù)分布如圖 2 所示,呈現(xiàn)出一定規(guī)律,為模型性能評估與優(yōu)化提供數(shù)據(jù)洞察。

最新開源Auto-RAG:最低成本解決多跳問題-AI.x社區(qū)

評估環(huán)節(jié),我們橫跨 NQ、2Wiki、TriviaQA(TQA)、PopQA(PQA)、HotpotQA(HQA)和 WebQuestions(WQ)六個(gè)數(shù)據(jù)集展開嚴(yán)格測試,采用 E5-base-v2 作檢索器,以 2018 年 12 月 Wikipedia 數(shù)據(jù)轉(zhuǎn)儲為檢索語料庫,遵循標(biāo)準(zhǔn)報(bào)告結(jié)果與指標(biāo),NQ、TQA、WQ 用精確匹配(EM),2Wiki、PQA、HQA 用 F1 分?jǐn)?shù),各數(shù)據(jù)集超參數(shù)詳情于附錄 B 完整呈現(xiàn),確保實(shí)驗(yàn)設(shè)置科學(xué)合理、結(jié)果可比可靠。

4.2 基線方法

基線設(shè)置全面涵蓋無檢索(Naive Gen)、單次檢索與多次檢索(迭代檢索)方法:

無檢索基線(Naive Gen):以 Llama-3-8B-Instruct 零樣本設(shè)置評估性能,展現(xiàn)模型自身知識儲備應(yīng)對問答任務(wù)的水平,為對比檢索增強(qiáng)策略效果提供基礎(chǔ)參照。

單次檢索基線:過程優(yōu)勢,多維度剖析單次檢索性能邊界與提升方向。對比 RECOMP-abstractive 和 Selective-Context 在上下文選擇優(yōu)化的成果、REPLUG 對生成器性能提升成效,以及 IRCoT閱讀解釋檢索文檔時(shí)思維鏈(CoT)

多次檢索基線(迭代檢索):將 Auto-RAG 與 FLARE、Iter-RetGen、Self-RAG 對比。前兩者分別依賴手動(dòng)定義檢索內(nèi)容與規(guī)則判定檢索時(shí)機(jī),Self-RAG 靠預(yù)測反思標(biāo)記決定檢索與評估結(jié)果質(zhì)量,Auto-RAG 則憑借自主推理決策脫穎而出,凸顯智能自主檢索優(yōu)勢。

4.3 主要結(jié)果

表 1 展示六個(gè)基準(zhǔn)測試結(jié)果,Auto-RAG 在各數(shù)據(jù)集表現(xiàn)優(yōu)異,超越其他迭代檢索方法。與 Iter-RetGen 相比,其擺脫手動(dòng)定義檢索內(nèi)容與次數(shù)依賴;相對 FLARE,突破預(yù)定義規(guī)則限制,自主決策檢索時(shí)機(jī)與內(nèi)容,精準(zhǔn)高效;相較于 Self-RAG,融入迭代推理機(jī)制,決策更精細(xì)合理,優(yōu)化檢索策略應(yīng)對復(fù)雜任務(wù),在六個(gè)基準(zhǔn)測試中成績斐然,有力證明其在問答任務(wù)中的卓越性能與領(lǐng)先地位,為知識檢索與答案生成樹立新標(biāo)桿。

最新開源Auto-RAG:最低成本解決多跳問題-AI.x社區(qū)

5.分析

5.1 對問題和檢索器的強(qiáng)適應(yīng)性

實(shí)際應(yīng)用中,問題復(fù)雜度與檢索文檔長度差異顯著,檢驗(yàn) Auto-RAG 適應(yīng)性至關(guān)重要。分析多數(shù)據(jù)集不同檢索文檔數(shù)量下 Auto-RAG 迭代比例與性能:

迭代次數(shù)自適應(yīng)調(diào)整:如圖 3,單跳 QA 任務(wù) NQ 和 TriviaQA 首輪迭代終止比例高于多跳 QA 任務(wù) HotpotQA,因單跳任務(wù)信息需求相對簡單,模型能快速判定檢索充分性。且隨每輪檢索文檔增多,首輪迭代終止比例上升,表明模型依信息充足度靈活調(diào)控迭代次數(shù),如信息充裕則速決,不足則持續(xù)檢索,智能適配任務(wù)需求。

最新開源Auto-RAG:最低成本解決多跳問題-AI.x社區(qū)

文檔數(shù)量影響性能:圖 4 顯示不同文檔數(shù)量影響 QA 性能,在三個(gè)任務(wù)中,每輪提供三篇文檔時(shí)效果佳,揭示合適文檔量對模型性能提升關(guān)鍵作用,為檢索器設(shè)置與檢索策略優(yōu)化指引方向,確保模型輸入信息質(zhì)與量平衡。

最新開源Auto-RAG:最低成本解決多跳問題-AI.x社區(qū)

對比無檢索(Naive Gen)和 Standard RAG,Auto-RAG 性能卓越且波動(dòng)小,穩(wěn)健應(yīng)對檢索器差異,為復(fù)雜多變實(shí)際應(yīng)用筑牢可靠性能根基。

5.2 消融研究

通過消融實(shí)驗(yàn)深度驗(yàn)證 Auto-RAG 訓(xùn)練、迭代推理與數(shù)據(jù)構(gòu)建環(huán)節(jié)關(guān)鍵作用:

訓(xùn)練成效顯著:經(jīng)訓(xùn)練的 Auto-RAG 相較以少樣本提示合成數(shù)據(jù)引導(dǎo)的未訓(xùn)練模型優(yōu)勢盡顯。未訓(xùn)練模型在問答任務(wù)中常陷入困境,因依賴少樣本提示致使推理過程生硬、缺乏靈活性,額外推理開銷巨大。而訓(xùn)練后的 Auto-RAG 憑借微調(diào)學(xué)習(xí),精準(zhǔn)捕捉數(shù)據(jù)深層特征與邏輯關(guān)聯(lián),將知識深度內(nèi)化于模型架構(gòu),構(gòu)建高效檢索決策體系,有力消除少樣本局限,在復(fù)雜問答情境下迅速定位關(guān)鍵知識,大幅提升答案準(zhǔn)確性與完整性,彰顯訓(xùn)練對模型迭代檢索能力進(jìn)階的核心驅(qū)動(dòng)價(jià)值。

迭代推理賦能:對比直接依檢索文檔生成答案的模型,融入迭代推理的 Auto-RAG 在解決復(fù)雜問題時(shí)效果提升顯著。缺乏推理環(huán)節(jié)的模型面對多跳、邏輯嵌套問題時(shí)易迷失方向,誤判信息關(guān)聯(lián),答案質(zhì)量參差不齊。Auto-RAG 的迭代推理機(jī)制似智慧導(dǎo)航,逐輪剖析問題、精準(zhǔn)甄別信息需求、動(dòng)態(tài)優(yōu)化檢索策略。如在科學(xué)知識問答中,面對多因素交織難題,Auto-RAG 層層推理、抽絲剝繭,挖掘知識間微妙聯(lián)系,直至構(gòu)建完整邏輯鏈條解答問題,有力印證推理環(huán)節(jié)對提升模型復(fù)雜任務(wù)處理能力的關(guān)鍵意義,契合推理提升模型能力的理論預(yù)期。

數(shù)據(jù)構(gòu)建優(yōu)勢:在數(shù)據(jù)合成環(huán)節(jié),零樣本查詢改寫方法遠(yuǎn)超少樣本查詢精煉。少樣本查詢精煉受樣本數(shù)量與分布制約,易陷入局部最優(yōu)陷阱,生成查詢趨同、覆蓋范圍窄。零樣本方法擺脫樣本束縛,基于語義理解與知識泛化動(dòng)態(tài)生成多元查詢。如歷史事件檢索中,能從不同視角時(shí)段構(gòu)建查詢,大幅提升檢索全面性精準(zhǔn)度,為模型挖掘深層知識、優(yōu)化答案創(chuàng)造豐富信息源,充分展現(xiàn)數(shù)據(jù)構(gòu)建策略優(yōu)化對提升 Auto-RAG 整體性能的深遠(yuǎn)影響。

最新開源Auto-RAG:最低成本解決多跳問題-AI.x社區(qū)

5.3 數(shù)據(jù)縮放

系統(tǒng)探究 Auto-RAG 在不同指令數(shù)量訓(xùn)練下性能演變規(guī)律,將訓(xùn)練數(shù)據(jù)量從 0.1k 精細(xì)拓展至 10k 并于問答任務(wù)評估。實(shí)驗(yàn)數(shù)據(jù)(圖 7)清晰顯示:約 0.5k 數(shù)據(jù)量時(shí),模型初獲自主檢索能力萌芽,此階段模型似懵懂學(xué)徒,依據(jù)有限指令初步構(gòu)建知識檢索框架,嘗試探索信息海洋,雖檢索決策稍顯稚嫩,但已具備應(yīng)對簡單問答基礎(chǔ)能力,開啟智能檢索征程第一步。隨數(shù)據(jù)量穩(wěn)步攀升,模型性能呈持續(xù)上揚(yáng)態(tài)勢。豐富數(shù)據(jù)為模型注入知識養(yǎng)分,助其深化語義理解、拓展知識視野、強(qiáng)化邏輯推理,精準(zhǔn)洞察問答任務(wù)復(fù)雜模式與微妙語境差異。于海量歷史文獻(xiàn)問答中,大量數(shù)據(jù)使模型精準(zhǔn)解析時(shí)代背景、人物關(guān)系及事件脈絡(luò),優(yōu)化檢索路徑、精準(zhǔn)篩選關(guān)鍵知識片段,大幅提升答案準(zhǔn)確性與權(quán)威性,為模型性能與數(shù)據(jù)規(guī)模間緊密關(guān)聯(lián)提供有力量化支撐,指引模型訓(xùn)練資源高效配置與性能深度優(yōu)化方向。

最新開源Auto-RAG:最低成本解決多跳問題-AI.x社區(qū)

5.4 一般任務(wù)性能

為全面度量 Auto-RAG 通用任務(wù)處理實(shí)力,精心擇取多領(lǐng)域權(quán)威基準(zhǔn)測試,涵蓋 AI2 推理挑戰(zhàn)、考試閱讀理解數(shù)據(jù)集、對抗生成場景及開放圖書問答等。實(shí)驗(yàn)結(jié)果(表 2)表明,Auto-RAG 在 ARC 與 SWAG 任務(wù)中成績耀眼、進(jìn)步顯著。經(jīng)合成數(shù)據(jù)專項(xiàng)訓(xùn)練,LLMs 推理內(nèi)核深度強(qiáng)化,賦予 Auto-RAG 應(yīng)對對抗任務(wù)復(fù)雜挑戰(zhàn)卓越智慧。于 ARC 任務(wù)邏輯迷宮里,面對環(huán)環(huán)相扣推理難題,Auto-RAG 運(yùn)用知識檢索銳眼捕捉關(guān)鍵線索,憑借嚴(yán)密邏輯思維熔爐錘煉答案,精準(zhǔn)拆解迷惑陷阱、嚴(yán)密推導(dǎo)正確結(jié)論,展現(xiàn)強(qiáng)大邏輯推理與知識運(yùn)用協(xié)同能力;在 SWAG 對抗戰(zhàn)場,面對誤導(dǎo)干擾,Auto-RAG 依深厚知識儲備與靈動(dòng)應(yīng)變智慧,精準(zhǔn)剖析語境語義、敏銳識破陷阱偽裝,生成合理答案,凸顯強(qiáng)大泛化能力與環(huán)境適應(yīng)韌性,為處理跨領(lǐng)域復(fù)雜任務(wù)筑牢堅(jiān)實(shí)能力根基,拓展人工智能技術(shù)應(yīng)用邊界。

最新開源Auto-RAG:最低成本解決多跳問題-AI.x社區(qū)

5.5 效率

對比 Auto-RAG 與 FLARE、Self-RAG 效率(圖 8),F(xiàn)LARE 困于手動(dòng)規(guī)則桎梏,檢索修訂流程機(jī)械、應(yīng)變遲緩,檢索低概率成分時(shí)資源消耗大、效率低迷;Auto-RAG 以自主智能決策為引擎,動(dòng)態(tài)規(guī)劃檢索軌跡,性能卓越、檢索次數(shù)精簡、處理速度飆升。Self-RAG 處理短問答時(shí)逐個(gè)文檔孤立生成答案與反思,忽視文檔關(guān)聯(lián)協(xié)同,檢索次數(shù)盲目依賴輸出長度,耗時(shí)費(fèi)力且易陷入局部最優(yōu);Auto-RAG 依問題復(fù)雜度與知識關(guān)聯(lián)度智能調(diào)配迭代節(jié)奏,如敏銳獵手精準(zhǔn)捕獲關(guān)鍵知識,高效生成優(yōu)質(zhì)答案,于各數(shù)據(jù)集性能與效率指標(biāo)優(yōu)勢盡顯(圖 8),于實(shí)際問答場景中大幅提升用戶信息獲取時(shí)效,重塑智能問答效率典范。

最新開源Auto-RAG:最低成本解決多跳問題-AI.x社區(qū)

5.6 案例研究

深入對比 Auto-RAG 與 Self-RAG 案例(圖 9),Self-RAG 對檢索文檔獨(dú)立處理、孤立評估反思,選最高分答案策略弊端顯著。處理復(fù)雜問題時(shí),因未考量文檔內(nèi)在邏輯關(guān)聯(lián),易被無關(guān)信息誤導(dǎo),當(dāng)文檔皆無關(guān)時(shí),無法主動(dòng)拓展搜索糾錯(cuò),致答案可靠性受損;Auto-RAG 以自主決策為智慧中樞,依知識價(jià)值動(dòng)態(tài)導(dǎo)航檢索路徑,遇無關(guān)文檔冷靜篩選、持續(xù)探索,直至掘取關(guān)鍵知識點(diǎn)亮答案燈塔。且 Auto-RAG 以自然語言清晰闡釋推理脈絡(luò),Self-RAG 反射令牌式反思晦澀難懂。如剖析文學(xué)作品深層寓意問答場景,Auto-RAG 以流暢自然語言引領(lǐng)用戶漫步推理之路,Self-RAG 則令用戶于符號迷宮中迷茫,Auto-RAG 大幅提升交互可解釋性與用戶體驗(yàn),開啟智能交互新紀(jì)元。

最新開源Auto-RAG:最低成本解決多跳問題-AI.x社區(qū)

6.結(jié)論

在這篇論文中,我們介紹了 Auto-RAG,這是一個(gè)以大型語言模型強(qiáng)大的決策能力為核心的自主迭代檢索模型。Auto-RAG 通過多輪對話與檢索器進(jìn)行交互,系統(tǒng)地規(guī)劃檢索并優(yōu)化查詢以獲取有價(jià)值的知識,直到獲得足夠的外部信息,此時(shí)將結(jié)果呈現(xiàn)給用戶。為此,我們開發(fā)了一種在迭代檢索中自主合成基于推理的決策指令的方法,并對最新的開源大型語言模型進(jìn)行了微調(diào)。分析結(jié)果表明,Auto-RAG 不僅實(shí)現(xiàn)了出色的性能,還保持了高度的可解釋性,為用戶提供了更直觀的體驗(yàn)。

本文轉(zhuǎn)載自 ??AIGC前沿技術(shù)追蹤??,作者: 喜歡學(xué)習(xí)的小仙女


標(biāo)簽
收藏
回復(fù)
舉報(bào)
回復(fù)
相關(guān)推薦