?Auto-RAG是一個以 LLM 強大的決策能力為核心的自主迭代檢索模型，通過多輪對話的方式建立 LLM 與檢索者之間的交互模型，通過迭代推理確定何時檢索信息、檢索什么內容，在獲得足夠的外部知識后停止迭代，并將答案提供給用戶。

一個具體的例子展示了Auto-RAG如何處理復雜的多跳問題。Auto-RAG進行迭代推理，策略性地規(guī)劃檢索，提取相關知識，精確識別信息需求，并為下一次檢索細化查詢，最終收斂到最終答案。在這個例子中，Auto-RAG在與檢索器交互五次后終止，成功得出正確答案。

Auto-RAG GUI 交互：提供可部署的用戶交互界面，輸入問題后，Auto-RAG 會自動與檢索器進行交互，無需人工干預。用戶可以選擇是否顯示 Auto-RAG 與檢索器交互的詳細信息。

Auto-RAG模型的技術細節(jié)，包括數(shù)據(jù)構建、訓練過程和推理方法：

1 基于推理的迭代檢索

• 迭代檢索過程被概念化為LLM和檢索器之間的多輪交互。
• Auto-RAG通過細致的推理來確定是否需要額外的檢索以及需要尋找的具體信息。
• 一旦獲取到足夠的信息，Auto-RAG停止生成新查詢并給出最終答案。

1.1 基于推理的規(guī)劃和查詢細化

• 為了提高效率和保持迭代過程中的連貫性，提出了包含三種不同類型推理的迭代檢索：檢索規(guī)劃、信息提取和答案推斷。
• 使用少量示例提示（few-shot prompting）來引導LLM進行這樣的推理過程。
• 根據(jù)用戶輸入和之前的檢索計劃，LLM可以迭代地細化查詢。

1.2 數(shù)據(jù)過濾和格式化

• 對生成的推理和查詢進行過濾，以確保質量。
• 如果最終答案與數(shù)據(jù)集中提供的答案一致，則保留數(shù)據(jù)。
• 將迭代檢索過程概念化為多輪交互對話，并對數(shù)據(jù)進行格式化

2 訓練

• 采用標準的監(jiān)督式微調策略，以使任意LLM具備在迭代檢索中自主決策的能力。
• 計算每個實例的交叉熵損失，并進行優(yōu)化。

3 推理

• 訓練完成后，Auto-RAG能夠自主地在迭代檢索中做出基于推理的決策。
• 在每次迭代中，根據(jù)用戶查詢或檢索到的文檔提供輸入，并提取Auto-RAG指定的后續(xù)步驟。
• 如果在與檢索器交互T次后仍未終止，Auto-RAG會使用生成的查詢來自動生成文檔，并將其作為下一次迭代的輸入。
• 如果在額外的T_PK次迭代后仍未終止，Auto-RAG會直接預測答案。

實驗結果表明，Auto-RAG 在六個基準測試中的表現(xiàn)優(yōu)于所有基線：FLARE、Self-RAG、Iter-RetGen、Standard RAG、IRCoT等

案例研究：Self-RAG與Auto-RAG。Self-RAG只進行一次檢索。相比之下，Auto-RAG能夠適應性地調整檢索次數(shù)，從而獲得更好的性能。

https://arxiv.org/pdf/2411.19443
AUTO-RAG: AUTONOMOUS RETRIEVAL-AUGMENTED GENERATION FOR LARGE LANGUAGE MODELS
https://github.com/ictnlp/Auto-RAG

本文轉載自??PaperAgent??