忘記Tool檢索，擁抱全新Agent ToolGen！
傳統(tǒng)大模型工具調(diào)用的方法依賴于將工具描述作為上下文輸入，這受到上下文長度的限制，并需要單獨的、通常效率低下的檢索機(jī)制。
之前基于檢索的方法與ToolGen之間的比較。以前的方法使用檢索器根據(jù)相似性匹配檢索相關(guān)工具，這些工具進(jìn)一步被放入提示中供LLMs選擇。ToolGen可以通過直接生成工具標(biāo)記來檢索工具。ToolGen也可以在不依賴任何外部檢索器的情況下完成任務(wù)。
為此，微軟等提出ToolGen，這是一種將工具知識直接整合到LLM參數(shù)中的范式轉(zhuǎn)變，將每個工具表示為大型語言模型（LLM）詞匯表中的一個獨特虛擬標(biāo)記（token），將工具檢索和執(zhí)行集成到LLM的生成過程中。
ToolGen框架的說明。在工具虛擬化中，工具被映射到虛擬標(biāo)記中。在接下來的三階段訓(xùn)練中，ToolGen首先通過基于文檔預(yù)測工具標(biāo)記來記憶工具。然后它學(xué)習(xí)通過從查詢中預(yù)測工具標(biāo)記來檢索工具。最后，使用流水線數(shù)據(jù)，即軌跡，來微調(diào)最后階段的檢索器模型，從而產(chǎn)生ToolGen代理模型。
ToolGen的三個訓(xùn)練階段：
- 工具記憶（Tool Memorization）：在這個階段，模型通過將工具描述作為輸入，相應(yīng)的工具標(biāo)記作為輸出，進(jìn)行微調(diào)，從而讓模型關(guān)聯(lián)每個虛擬工具標(biāo)記與其文檔。
- 檢索訓(xùn)練（Retrieval Training）：在檢索訓(xùn)練階段，模型學(xué)習(xí)基于用戶查詢生成相關(guān)的工具標(biāo)記。這使得模型能夠根據(jù)用戶的查詢預(yù)測正確的工具標(biāo)記。
- 端到端代理調(diào)優(yōu)（End-to-End Agent-Tuning）：在最后階段，模型使用代理完成任務(wù)的軌跡數(shù)據(jù)進(jìn)行微調(diào)。ToolGen遵循迭代過程，首先生成一個計劃，然后是相應(yīng)的動作標(biāo)記。這個標(biāo)記用于獲取工具文檔，模型使用這些文檔來生成完成任務(wù)所需的參數(shù)。這個過程會迭代進(jìn)行，直到模型生成一個“完成”標(biāo)記或達(dá)到最大輪數(shù)。
ToolGen的推理方法：
在推理過程中，ToolGen可能會生成預(yù)定義工具標(biāo)記集之外的動作標(biāo)記。為了防止這種情況，設(shè)計了一個受限的束搜索（beam search）生成策略，將輸出標(biāo)記限制在工具標(biāo)記集內(nèi)。這在工具檢索和端到端代理系統(tǒng)中都得到了應(yīng)用，顯著減少了動作生成步驟中的幻覺（hallucination）。
ToolGen框架允許LLM無需額外的檢索步驟即可訪問和利用大量工具，顯著提高了性能和可擴(kuò)展性。在超過47,000個工具的實驗結(jié)果表明，ToolGen不僅在工具檢索和自主任務(wù)完成方面取得了優(yōu)越的結(jié)果，而且為能夠適應(yīng)不同領(lǐng)域工具的AI代理的新時代鋪平了道路。
在兩種設(shè)置中進(jìn)行工具檢索評估：(1) 同域（In-Domain），在這種設(shè)置中，模型在同一領(lǐng)域內(nèi)進(jìn)行訓(xùn)練和評估；以及 (2) 跨域（Multi-Domain），在這種設(shè)置中，模型在所有領(lǐng)域上進(jìn)行訓(xùn)練，并使用所有領(lǐng)域的全套工具進(jìn)行評估。BM25、EmbSim和Re-Invoke是未經(jīng)訓(xùn)練的無監(jiān)督基線模型。IterFeedback是一個具有多個模型和反饋機(jī)制的檢索系統(tǒng)。ToolRetriever是使用對比學(xué)習(xí)訓(xùn)練的，而ToolGen是使用下一個標(biāo)記預(yù)測進(jìn)行訓(xùn)練的。帶*號的結(jié)果不是我們實現(xiàn)的，而是從它們原來的論文中復(fù)制過來的，因此只在同域設(shè)置中有。對于同域設(shè)置中的ToolGen，我們允許生成空間包含所有標(biāo)記，這與其他模型相比是一個更具挑戰(zhàn)性的場景。每個類別中最好的結(jié)果都加粗顯示。
在兩種設(shè)置下對未見過的指令進(jìn)行端到端評估性能。在R設(shè)置中，GPT3.5和ToolLlama使用ToolRetriever，而ToolGen不使用外部檢索器。對于所有結(jié)果，SoPR和SoWR都評估了三次，并報告平均值。
工具記憶和檢索訓(xùn)練的數(shù)據(jù)集示例。使用用戶角色來代表輸入，助手角色來代表輸出。
端到端Agent調(diào)優(yōu)的示例
ToolGen的推理示例。首先給出一個沒有相關(guān)工具的系統(tǒng)提示。然后用戶提出任務(wù)查詢。ToolGen生成思考（Thought），然后使用用戶角色來提示模型生成動作（action）。生成動作后，再次使用用戶角色來提供工具文檔。模型將根據(jù)這份文檔生成工具輸入。
https://github.com/Reason-Wang/ToolGen
TOOLGEN: UNIFIED TOOL RETRIEVAL AND CALLING VIA GENERATION
https://arxiv.org/pdf/2410.03439本文轉(zhuǎn)載自??PaperAgent??
