近期，來(lái)自清華大學(xué)、中國(guó)人民大學(xué)、北京郵電大學(xué)、UIUC、NYU、CMU 等高校的研究人員聯(lián)合知乎、面壁智能公司探索了基礎(chǔ)模型調(diào)用外部工具的課題，聯(lián)合發(fā)表了一篇 74 頁(yè)的基礎(chǔ)模型工具學(xué)習(xí)綜述論文，并發(fā)布了開源工具學(xué)習(xí)平臺(tái)。該團(tuán)隊(duì)提出了基礎(chǔ)模型工具學(xué)習(xí)的概念，系統(tǒng)性地整理和闡述了其技術(shù)框架，同時(shí)展示了未來(lái)可能面臨的機(jī)遇和挑戰(zhàn)。這項(xiàng)研究對(duì)于了解基礎(chǔ)模型工具學(xué)習(xí)的最新進(jìn)展及其未來(lái)發(fā)展趨勢(shì)具有重要價(jià)值。

• 論文鏈接：https://arxiv.org/abs/2304.08354
• BMTools 工具包：https://github.com/OpenBMB/BMTools
• 工具學(xué)習(xí)論文列表：https://github.com/thunlp/ToolLearningPapers

研究背景

近年來(lái)，基礎(chǔ)模型（Foundation Model）在自然語(yǔ)言處理、計(jì)算機(jī)視覺、生物學(xué)等諸多領(lǐng)域展現(xiàn)出驚人的應(yīng)用價(jià)值，持續(xù)刷新各類下游任務(wù)的效果上限?；A(chǔ)模型通過預(yù)訓(xùn)練過程中積累的豐富世界知識(shí)，在復(fù)雜交互環(huán)境中展現(xiàn)出了非凡的理解、推理與決策能力，并能與現(xiàn)實(shí)世界進(jìn)行緊密交互。尤其是最近誕生的 ChatGPT 和 GPT-4，更是彰顯了基礎(chǔ)模型在理解人類意圖、自動(dòng)化復(fù)雜過程、解讀多模態(tài)信息等方面的巨大潛力。

盡管基礎(chǔ)模型在很多方面取得了顯著的成果，但在特定領(lǐng)域的任務(wù)上，仍然存在一定的局限性。這些任務(wù)往往需要專業(yè)化的工具或領(lǐng)域知識(shí)才能有效解決。以金融領(lǐng)域?yàn)槔?，基礎(chǔ)模型雖然可以在自然語(yǔ)言處理和風(fēng)險(xiǎn)評(píng)估上發(fā)揮作用，但在證券交易和金融市場(chǎng)預(yù)測(cè)等領(lǐng)域，卻需要更為專業(yè)的工具和領(lǐng)域知識(shí)來(lái)應(yīng)對(duì)特定問題。整合專用工具與基礎(chǔ)模型可以充分發(fā)揮各自獨(dú)特優(yōu)勢(shì)。專用工具可解決模型時(shí)效性不足的問題、增強(qiáng)專業(yè)知識(shí)、提高可解釋性。而基礎(chǔ)模型在理解復(fù)雜數(shù)據(jù)和場(chǎng)景方面具備類人的推理規(guī)劃能力，進(jìn)而與現(xiàn)實(shí)世界交互。

研究團(tuán)隊(duì)認(rèn)為，基礎(chǔ)模型需要具備調(diào)用各種專業(yè)化工具的能力，這樣才能為現(xiàn)實(shí)世界任務(wù)提供更為全面的支持。將二者結(jié)合能夠充分發(fā)揮各自的優(yōu)勢(shì)，將復(fù)雜工具的使用平民化，降低新用戶門檻，充分釋放創(chuàng)造力。那么，如何將基礎(chǔ)模型與專業(yè)化工具相結(jié)合，共同打造更強(qiáng)大、高效的任務(wù)解決方案呢？

工具學(xué)習(xí)范式旨在結(jié)合專有工具與基礎(chǔ)模型的優(yōu)勢(shì)

團(tuán)隊(duì)總結(jié)并提出了新的范式：基礎(chǔ)模型工具學(xué)習(xí)。這一范式的核心在于將專業(yè)工具與基礎(chǔ)模型的優(yōu)勢(shì)相融合，以在問題解決方面達(dá)到更高的準(zhǔn)確性、效率和自主性。近期的研究成果揭示，基礎(chǔ)模型在運(yùn)用工具方面表現(xiàn)出了顯著的靈活性和精細(xì)操作能力，這為該范式的發(fā)展奠定了堅(jiān)實(shí)基礎(chǔ)。

工具增強(qiáng)學(xué)習(xí)通過工具的執(zhí)行結(jié)果來(lái)增強(qiáng)基礎(chǔ)模型、輔助內(nèi)容生成；工具導(dǎo)向?qū)W習(xí)專注于利用模型來(lái)管理工具并代替人類進(jìn)行序列決策

工具學(xué)習(xí)是指讓模型能夠理解和使用各種工具來(lái)完成任務(wù)的學(xué)習(xí)過程。從學(xué)習(xí)目標(biāo)的角度來(lái)看，現(xiàn)有工具學(xué)習(xí)主要可以分為兩類：

• 工具增強(qiáng)學(xué)習(xí)（Tool-augmented Learning），利用各種工具的執(zhí)行結(jié)果，增強(qiáng)基礎(chǔ)模型性能。在這一范式中，工具執(zhí)行結(jié)果被視為輔助生成高質(zhì)量輸出的外部資源。
• 工具導(dǎo)向?qū)W習(xí)（Tool-oriented Learning），將學(xué)習(xí)過程重點(diǎn)從增強(qiáng)模型性能轉(zhuǎn)向工具執(zhí)行本身。這一類研究關(guān)注開發(fā)能夠代替人類控制工具并進(jìn)行序列決策的模型。

上述兩類方法的核心差異在于學(xué)習(xí)過程的側(cè)重點(diǎn)，即通過工具執(zhí)行來(lái)增強(qiáng)基礎(chǔ)模型（工具為 AI 服務(wù)）或者通過基礎(chǔ)模型優(yōu)化工具的使用（AI 為工具服務(wù)）。在這篇綜述中，團(tuán)隊(duì)提出了統(tǒng)一這兩類方法的工具學(xué)習(xí)框架，對(duì)兩者進(jìn)行了統(tǒng)一。

工具學(xué)習(xí)框架

工具學(xué)習(xí)整體框架，呈現(xiàn)了人類用戶和四個(gè)核心成分：工具集、控制器、感知器、環(huán)境。

通用的工具學(xué)習(xí)框架包含人類用戶和四個(gè)關(guān)鍵組成部分：工具集、控制器、感知器和環(huán)境：

• 工具集（Tool Set）：可供模型使用的各種工具。從交互接口的視角可以分為三類：基于物理交互的工具、基于 GUI 交互的工具、基于程序交互的工具。
• 控制器（Controller）：通常使用基礎(chǔ)模型建模，負(fù)責(zé)接收用戶的指令，并根據(jù)這些指令制定可執(zhí)行的計(jì)劃并調(diào)用工具執(zhí)行。
• 感知器（Perceiver）：負(fù)責(zé)接收來(lái)自環(huán)境和用戶的反饋信息，并將其匯總給控制器。
• 環(huán)境（Environment）：模型所處的場(chǎng)景，包括物理環(huán)境和虛擬環(huán)境等。

從用戶界面的角度對(duì)工具進(jìn)行分類：（a）基于物理交互的工具，（b）基于圖形用戶界面交互的工具，和（c）基于程序交互的工具。

在該框架中，控制器負(fù)責(zé)理解用戶指令，將復(fù)雜任務(wù)分解為若干子任務(wù)，并通過推理動(dòng)態(tài)調(diào)整計(jì)劃，最終調(diào)用合適的工具完成每個(gè)子任務(wù)。為了有效地利用工具，必須考慮其物理特性、與控制器的關(guān)系以及周圍環(huán)境。因此，工具學(xué)習(xí)框架是通過強(qiáng)調(diào)所有這些組件之間的相互作用來(lái)設(shè)計(jì)的。

整個(gè)過程從用戶指令開始，接收到指令后，由基礎(chǔ)模型支持的控制器被激活來(lái)響應(yīng)用戶，并為該指令制定計(jì)劃并執(zhí)行工具與環(huán)境進(jìn)行交互；工具執(zhí)行可能導(dǎo)致環(huán)境發(fā)生變化，感知器捕捉這些變化并將信息反饋給控制器，進(jìn)行新一輪的工具執(zhí)行；人類也可以提供反饋來(lái)糾正或協(xié)助控制器的決策。經(jīng)過多輪工具執(zhí)行后，實(shí)現(xiàn)用戶需求；最后，控制器可以將工具返回的信息總結(jié)給用戶。

形式化定義：給定工具集合，在時(shí)間步 t，環(huán)境提供工具執(zhí)行的反饋。感知器接收用戶反饋和環(huán)境反饋，并生成總結(jié)反饋?？刂破?/span>生成計(jì)劃，選擇并執(zhí)行來(lái)自的合適工具。這個(gè)過程可以建模為以下概率分布：

其中表示控制器的參數(shù)，表示用戶查詢或指令，代表工具的具體執(zhí)行計(jì)劃，表示歷史的反饋和計(jì)劃。我們可以進(jìn)一步將上式分解：

該分解揭示了制定計(jì)劃可以分為兩個(gè)子任務(wù)：基于用戶意圖選擇適當(dāng)?shù)墓ぞ吆褪褂盟x工具執(zhí)行的具體操作。例如，對(duì)于 “我想預(yù)訂下周去北京的飛機(jī)” 的指令，控制器首先推斷出用戶的目標(biāo)是預(yù)訂一次去北京的航班。接著，模型選擇航空公司預(yù)訂系統(tǒng)作為工具。最后，它將時(shí)間和目的地作為初步計(jì)劃輸入以完成第二個(gè)子任務(wù)。良好的工具學(xué)習(xí)框架必須具備糾錯(cuò)的能力：例如如果下周沒有飛往北京的航班，控制器可以在接受到該反饋后更新計(jì)劃。

關(guān)鍵研究問題

研究團(tuán)隊(duì)指出了工具學(xué)習(xí)領(lǐng)域的一系列關(guān)鍵研究問題：

意圖理解

控制器需要理解用戶所給出的自然語(yǔ)言指令，識(shí)別其對(duì)應(yīng)的任務(wù)目標(biāo)。意圖理解在現(xiàn)實(shí)工具學(xué)習(xí)應(yīng)用場(chǎng)景中仍存在著諸多挑戰(zhàn)：（1）指令模糊問題：用戶給出的指令很有可能是不精確甚至多義的。（2）指令多樣問題：用戶給出的指令天然具有個(gè)性化和多樣性。

工具理解

控制器使用工具的前提是理解工具的功能與使用方式。人類在學(xué)習(xí)使用工具時(shí)通常會(huì)有兩種途徑，一是從工具的說明書或是教程中學(xué)習(xí)；二是通過觀察其它人使用工具的過程來(lái)學(xué)習(xí)。類似的，現(xiàn)有工具學(xué)習(xí)工作通常采用兩種提示學(xué)習(xí)技術(shù)實(shí)現(xiàn)工具理解：零樣本提示學(xué)習(xí)和少樣本提示學(xué)習(xí)。但是提示學(xué)習(xí)的有效性很大程度上取決于模型能力，而且會(huì)受到輸入上下文長(zhǎng)度的限制。

零樣本提示學(xué)習(xí)描述工具的功能、輸入輸出格式等，少樣本提示學(xué)習(xí)則通過具體的使用案例來(lái)提示模型如何使用對(duì)應(yīng)工具。

規(guī)劃與推理

對(duì)于復(fù)雜任務(wù)，控制器需要具備一定的規(guī)劃和推理能力，以便將任務(wù)拆分成若干子任務(wù)。這一過程中的推理能力可以分為兩類：內(nèi)省推理（Introspective Reasoning），是指控制器在不涉及與環(huán)境交互的情況下，僅根據(jù)指令對(duì)任務(wù)進(jìn)行推理和規(guī)劃，無(wú)需中間執(zhí)行結(jié)果。這種推理方式側(cè)重于分析任務(wù)的本質(zhì)，通過對(duì)指令的理解來(lái)生成相應(yīng)的規(guī)劃；與之相反，外省推理（Extrospective Reasoning），涉及控制器與環(huán)境的交互。在這種情況下，控制器會(huì)根據(jù)先前步驟的執(zhí)行結(jié)果逐步推理并生成規(guī)劃。這種方式強(qiáng)調(diào)了模型的實(shí)時(shí)調(diào)整和適應(yīng)能力，使得控制器能夠在完成任務(wù)過程中不斷優(yōu)化規(guī)劃策略。

工具學(xué)習(xí)內(nèi)省推理和外省推理

在完成對(duì)復(fù)雜任務(wù)進(jìn)行分解之外，控制器還需要利用不同工具完成各個(gè)子任務(wù)，在該過程中存在一些挑戰(zhàn)需要進(jìn)一步研究。

• 工具間的協(xié)同配合：為了完成復(fù)雜任務(wù)，模型不僅需要理解各個(gè)工具的功能，還應(yīng)該理解它們之間的相互作用和依賴關(guān)系。這有助于控制器更有效地使用工具，確保任務(wù)的順利完成。
• 并行執(zhí)行：對(duì)于彼此不存在依賴關(guān)系的子任務(wù)，模型需要具有并行執(zhí)行的能力以提高執(zhí)行效率。這將有助于在有限的時(shí)間內(nèi)完成更多任務(wù)，提高整體性能。
• 多智能體協(xié)作：復(fù)雜任務(wù)通常需要多個(gè)智能體彼此協(xié)作，在這種情況下，每個(gè)智能體都具有其獨(dú)特的能力和專業(yè)知識(shí)，彼此協(xié)作可以實(shí)現(xiàn)更高效和有效的問題解決。因此，探索多智能體協(xié)作機(jī)制對(duì)于提升控制器在復(fù)雜任務(wù)中的表現(xiàn)具有重要意義。

可泛化的工具學(xué)習(xí)訓(xùn)練方法

為了讓模型學(xué)會(huì)使用工具，訓(xùn)練模型也是一種可行的途徑。嬰兒學(xué)習(xí)新工具主要有兩種方式，一種是觀察模仿成人如何使用工具的過程，另一種是依靠自身的探索，摸索出工具的使用方式。受此啟發(fā)，工具學(xué)習(xí)的模型訓(xùn)練范式也可以分成兩種：

• 從演示中學(xué)習(xí)：模型模仿人類使用工具，可采用監(jiān)督學(xué)習(xí)、半監(jiān)督學(xué)習(xí)或自監(jiān)督學(xué)習(xí)來(lái)實(shí)現(xiàn)。
• 從反饋中學(xué)習(xí)：環(huán)境或人類的反饋可以幫助模型理解其行為的結(jié)果并調(diào)整其行為，據(jù)此改進(jìn)其工具使用策略，從而增強(qiáng)模型的使用工具能力。強(qiáng)化學(xué)習(xí)便是實(shí)現(xiàn)從反饋中學(xué)習(xí)的一個(gè)代表性解決方案。

工具學(xué)習(xí)模型訓(xùn)練范式示意圖

通用工具學(xué)習(xí)：工具使用經(jīng)驗(yàn)的通用性是人類智能的一個(gè)重要特征。人類可以從一個(gè)工具的使用中總結(jié)出通用性的經(jīng)驗(yàn)，從而幫助其它工具的使用。為了實(shí)現(xiàn)通用工具學(xué)習(xí)，首先要對(duì)工具的操作接口進(jìn)行形式化統(tǒng)一。這樣，模型便能夠以標(biāo)準(zhǔn)化的方式操作各種工具，并更容易地抽象出工具的基本特征。這可以通過以下三種方式實(shí)現(xiàn)。

• 語(yǔ)義接口：模型通過使用特定的文本片段（如動(dòng)作名稱）作為動(dòng)作觸發(fā)器，從而來(lái)操作工具。
• GUI 接口：模型模仿人類使用圖形界面（GUI）來(lái)與工具交互。
• 編程接口：模型通過編寫代碼來(lái)使用工具。這種方式具有廣闊的應(yīng)用前景，首先是因?yàn)榫帉懘a可以實(shí)現(xiàn)復(fù)雜的工具使用邏輯，其次通過執(zhí)行程序可以更加方便地調(diào)用外部工具。

在統(tǒng)一工具操作接口的前提下，模型還需要針對(duì)具體的任務(wù)或領(lǐng)域進(jìn)一步地適應(yīng)、細(xì)化和專門化其學(xué)習(xí)的知識(shí)。為了達(dá)成此目標(biāo)，有兩種解決方法：

• 元工具學(xué)習(xí)：元工具學(xué)習(xí)體現(xiàn)了模型的元認(rèn)知能力，使其能夠反思自身的學(xué)習(xí)過程并在必要時(shí)調(diào)整新的工具使用策略。通過元認(rèn)知，模型可以識(shí)別工具使用策略中的基本原則或共同模式，并將其遷移到新的任務(wù)或領(lǐng)域中去。
• 課程工具學(xué)習(xí)：課程工具學(xué)習(xí)則采用逐步學(xué)習(xí)的方法，讓模型從簡(jiǎn)單的工具開始學(xué)習(xí)，然后逐漸學(xué)習(xí)更復(fù)雜的工具。這種方法有助于模型理解復(fù)雜工具，將其視為簡(jiǎn)單工具的進(jìn)階版。通過課程工具學(xué)習(xí)，模型能夠更有效地識(shí)別抽象工具間的共性和差異，從而實(shí)現(xiàn)知識(shí)和技能的遷移。

開源平臺(tái) BMTools

ChatGPT Plugins 的出現(xiàn)補(bǔ)充了 ChatGPT 最后的短板，使其可以支持連網(wǎng)、解決數(shù)學(xué)計(jì)算，被稱為 OpenAI 的 “App Store” 時(shí)刻。然而，由于目前其支持的工具數(shù)量有限，并且僅支持部分 OpenAI Plus 用戶，大多數(shù)開發(fā)者仍然無(wú)法使用。

為解決這個(gè)痛點(diǎn)，研究團(tuán)隊(duì)推出了工具學(xué)習(xí)包 BMTools，一個(gè)基于語(yǔ)言模型的開源可擴(kuò)展工具學(xué)習(xí)平臺(tái)。團(tuán)隊(duì)將各種各樣的工具（例如文生圖模型、搜索引擎、股查詢等）調(diào)用流程都統(tǒng)一到一個(gè)框架上，使整個(gè)工具調(diào)用流程標(biāo)準(zhǔn)化、自動(dòng)化。開發(fā)者可以通過 BMTools，使用給定的模型（ChatGPT、GPT4）調(diào)用多種多樣的工具接口，實(shí)現(xiàn)特定功能。

BMTools 不僅支持 OpenAI 的 Plugins，還允許開發(fā)者自己擴(kuò)充工具庫(kù)。開發(fā)者只用編寫簡(jiǎn)單的 python 程序就能輕松構(gòu)建新的插件功能，并可集成其他來(lái)源的外部工具（如 ChatGPT Plugins）。該工具包目前已支持論文中提到的 17 種工具，并在持續(xù)維護(hù)更新中，未來(lái)將支持更多基底模型和面向國(guó)內(nèi)的工具的使用，助力工具學(xué)習(xí)的前沿學(xué)術(shù)探索和工程落地。此外，該工具包也已集成最近爆火的 Auto-GPT 與 BabyAGI，并且在 Huggingface Spaces 上可直接試用。

BMTools Huggingface Spaces 演示

基于 BMTools，團(tuán)隊(duì)探索了基礎(chǔ)模型使用工具的有效性與局限性，并選取了 text-davinci-003 和 ChatGPT 兩個(gè)代表性基礎(chǔ)模型，評(píng)估它們?cè)?17 種工具使用場(chǎng)景下的性能表現(xiàn)，實(shí)驗(yàn)證明：

1. 在大多數(shù)情況下，模型可以通過簡(jiǎn)單的提示學(xué)習(xí)如何有效地使用工具，并提高它們的任務(wù)性能。

2. 對(duì)于模型能夠利用其內(nèi)部知識(shí)解決的任務(wù)，只有在對(duì)工具進(jìn)行正確調(diào)用時(shí)，模型才會(huì)獲得性能提升，否則反而會(huì)產(chǎn)生負(fù)面影響。

3.ChatGPT 相比于 text-davinci-003 并沒有得到更好的結(jié)果。對(duì)于知識(shí)圖譜、在線購(gòu)物、3D 建模等較為復(fù)雜的工具，ChatGPT 和 text-davinci-003 均不夠令人滿意，需要進(jìn)一步提升基礎(chǔ)模型能力來(lái)提升工具的使用能力。

ChatGPT 和 text-davinci-003 工具學(xué)習(xí)實(shí)驗(yàn)結(jié)果

前瞻開放討論

最后，論文從不同角度探討了工具學(xué)習(xí)帶來(lái)的機(jī)遇與挑戰(zhàn)：

• 工具學(xué)習(xí)的安全性：在期待基礎(chǔ)模型與工具學(xué)習(xí)結(jié)合所帶來(lái)的生活改變之前，審視其中潛在的風(fēng)險(xiǎn)尤為重要。團(tuán)隊(duì)強(qiáng)調(diào)了需要防止惡意用戶誤導(dǎo)模型調(diào)用工具，以及提升模型使用工具的可信度等問題。
• AI 創(chuàng)造工具：基礎(chǔ)模型可能具有自發(fā)創(chuàng)造工具的潛力。一直以來(lái)，創(chuàng)造和使用工具被認(rèn)為是人類智能的獨(dú)特特征，而基礎(chǔ)模型的出現(xiàn)可能顛覆這一觀念。越來(lái)越多的證據(jù)表明，創(chuàng)造工具的能力不再是人類專有的領(lǐng)域。
• 工具學(xué)習(xí)個(gè)性化：模型通常在通用文本語(yǔ)料庫(kù)上訓(xùn)練，并使用廣泛定義的人類偏好進(jìn)行校準(zhǔn)。然而，這種方法無(wú)法滿足具有不同需求的用戶的個(gè)性化需求。探索如何實(shí)現(xiàn)個(gè)性化的工具學(xué)習(xí)將成為未來(lái)研究的重要課題。
• 知識(shí)沖突：引入工具后，模型需要解決來(lái)自不同來(lái)源的知識(shí)沖突問題，包括模型自身、外部知識(shí)庫(kù)等。解決不同知識(shí)庫(kù)間的知識(shí)沖突，以實(shí)現(xiàn)知識(shí)的有效整合，是迎接工具學(xué)習(xí)挑戰(zhàn)的關(guān)鍵一步。
• 開放性問題：最后，團(tuán)隊(duì)提出了一系列開放性問題，包括：工具能力是否應(yīng)當(dāng)內(nèi)化進(jìn)模型中？如何準(zhǔn)確評(píng)判模型的工具使用能力？如何規(guī)避工具學(xué)習(xí)場(chǎng)景下的安全性、隱私性問題？如何在工具學(xué)習(xí)框架下促進(jìn)更好的人機(jī)協(xié)同？

總結(jié)

研究團(tuán)隊(duì)深入探討了基礎(chǔ)模型的工具學(xué)習(xí)范式，提出了一個(gè)通用的工具學(xué)習(xí)框架，并重點(diǎn)探討了其中的重點(diǎn)研究問題。為了展示基礎(chǔ)模型在工具使用方面的靈活性與精細(xì)性，團(tuán)隊(duì)開發(fā)了開源的工具學(xué)習(xí)平臺(tái) BMTools，并對(duì) 17 個(gè)代表性工具進(jìn)行了實(shí)驗(yàn)，通過詳細(xì)的分析、實(shí)驗(yàn)探索，提出了一系列具有前瞻性的問題。我們期待這篇文章能激發(fā)更多融合工具與基礎(chǔ)模型的研究，助力開創(chuàng)智能化人機(jī)協(xié)同工作的新篇章。