今天我們介紹一篇論文《REACT: Synergizing Reasoning and Acting in Language Models》，它是來自谷歌研究院和普林斯頓大學(xué)的一組研究人員在探索了在語言模型中結(jié)合推理和行為的潛力后發(fā)布的結(jié)果。雖然大型語言模型(LLM)推理(思維鏈提示)和行動(行動計劃生成)的能力已經(jīng)作為單獨的主題進(jìn)行了研究，但這是第一次將這兩種能力組合到一個系統(tǒng)中。所以我覺得這是一篇重要的論文，因為ReAct框架允許虛擬代理使用諸如連接到web和SQL數(shù)據(jù)庫之類的工具，所以可以提供幾乎無限的擴(kuò)展。

推理和行動的力量

人類智能的特點是將以任務(wù)為導(dǎo)向的行動和關(guān)于下一步行動的推理無縫結(jié)合。這種能力使我們能夠快速學(xué)習(xí)新任務(wù)并做出可靠的決定，而且可以適應(yīng)不可預(yù)見的情況。ReAct的目標(biāo)就是在語言模型中復(fù)制這種協(xié)同作用，使它們能夠以交錯的方式生成推理步驟和特定于任務(wù)的操作。

ReAct如何工作的

ReAct提示大型語言模型為給定任務(wù)生成口頭推理歷史步驟和操作。這些提示由少量的上下文示例組成，這些示例指導(dǎo)模型的思考和操作生成。下面的圖中給出了一個上下文示例。這些例子引導(dǎo)代理經(jīng)歷一個循環(huán)過程:產(chǎn)生一個想法，采取一個行動，然后觀察行動的結(jié)果。通過結(jié)合推理跟蹤和操作，ReAct允許模型執(zhí)行動態(tài)推理，這樣可以生成高級計劃，還可以與外部環(huán)境交互以收集額外的信息。

應(yīng)用及結(jié)果

研究人員將ReAct應(yīng)用于多種語言推理和決策任務(wù)，包括問題回答、事實驗證、基于文本的游戲和網(wǎng)頁導(dǎo)航。結(jié)果是非常好的，ReAct在可解釋性和可信賴性方面始終優(yōu)于其他最先進(jìn)的基線。

在問答和事實驗證任務(wù)中，ReAct通過與簡單的Wikipedia API交互，克服了推理中普遍存在的幻覺和錯誤傳播問題。它生成了類似人類的解決任務(wù)的步驟，比沒有推理痕跡的基線更容易解釋。在交互式?jīng)Q策基準(zhǔn)中，ReAct的表現(xiàn)明顯優(yōu)于模仿和強(qiáng)化學(xué)習(xí)方法，即使只有一兩個上下文示例。

雖然推理、行動和觀察步驟交織在一起提高了ReAct的接地性和可信度，但這種結(jié)構(gòu)也約束降低了其制定推理步驟的靈活性，導(dǎo)致在某些任務(wù)上的推理錯誤率高于思維鏈提示。

推理和行動的重要性

研究人員還進(jìn)行了消融實驗，了解在不同任務(wù)中推理和行動的重要性。他們發(fā)現(xiàn)，ReAct的內(nèi)部推理和外部行為的結(jié)合始終優(yōu)于專注于推理或單獨行動的基線。這突出了整合這兩個過程的價值，以獲得更有效的決策。

未來的發(fā)展方向

雖然ReAct已經(jīng)顯示出很好的結(jié)果，但仍有改進(jìn)的空間。研究人員建議擴(kuò)大ReAct的規(guī)模，以訓(xùn)練和操作更多的任務(wù)，并將其與強(qiáng)化學(xué)習(xí)等互補(bǔ)范例結(jié)合起來。此外還可以使用更多的人工注釋數(shù)據(jù)對模型進(jìn)行微調(diào)可以進(jìn)一步提高它們的性能。

結(jié)論

ReAct在開發(fā)更智能、更通用的AI系統(tǒng)方面向前邁進(jìn)了一步，并且它也支持Langchain庫中一些非常有用的代理功能。通過在語言模型中結(jié)合推理和行為，已經(jīng)證明了在一系列任務(wù)中的性能提高，以及增強(qiáng)的可解釋性和可信度。隨著人工智能的不斷發(fā)展，推理和行為的整合將在創(chuàng)造更有能力和適應(yīng)性的人工智能系統(tǒng)方面發(fā)揮關(guān)鍵作用。

論文地址：