今年10月，OpenAI高級研究科學家、德?lián)銩I之父Noam Brown，曾在美國舊金山舉辦的TED AI大會上提出了一個驚人的理論——讓AI模型思考20秒所帶來的性能提升，相當于將模型擴大100,000倍并訓練100,000倍的時間。

Noam所指的技術(shù)便是System 1/2 thinking，也是OpenAI最新模型o1正在使用的技術(shù)。

谷歌DeepMind研究人員則直接把這項技術(shù)集成到AI Agent中開發(fā)了Talker-Reasoner框架，讓其具備“快”、“慢”兩種擬人化思考方式。這對于解決復雜、冗長的任務來說幫助巨大，也突破了傳統(tǒng)AI Agent執(zhí)行業(yè)務流程的方法，極大提升了效率。

像人類一樣思考——快、慢思維

在介紹谷歌的雙思維AI Agent之前，「AIGC開放社區(qū)」先為大家簡單介紹一下System 1/2的快、慢思維的由來和技術(shù)特性，對于理解Talker-Reasoner框架很有幫助。

快、慢思維最早是由諾貝爾經(jīng)濟學獎得主-丹尼爾·卡內(nèi)曼在其著作《思考，快與慢》中提出，并被廣泛接受為理解人類思維的一種重要理論框架。

這兩種思維方式分別被稱為“System1”和“System 2”，它們各自承擔著不同的認知任務，并以獨特的方式影響著我們的決策過程。

System 1，所謂的“快思考”，是一種自動化的、迅速的思維模式，幾乎不需要消耗大量的認知資源，也不需要個體付出明顯的努力。

當我們面對一個熟悉的場景或問題時，System1會迅速作出反應，提供即時的答案或解決方案。例如，當我們看到一輛車突然向我們駛來時，我們會本能地做出躲避的動作；或者當我們聽到一個笑話時，我們可能會立即感到好笑并發(fā)出笑聲。

這些反應都是System1在起作用的結(jié)果，它依賴于直覺和經(jīng)驗積累，能夠在短時間內(nèi)處理大量信息，但同時也可能因為缺乏深入分析而產(chǎn)生偏見或錯誤判斷。

相比之下，System2則代表著“慢思考”，這是一種更為復雜和謹慎的思維過程。System2負責執(zhí)行那些需要更多注意力和努力的任務，如解決復雜的數(shù)學問題、進行邏輯推理或是制定長期計劃等。

如果你使用過OpenAI的o1或者國內(nèi)的Deepseek、阿里最新開源的QwQ-32B模型，它們在執(zhí)行超復雜問題時，便會進入短暫的思考時間。

System2的特點在于其能夠?qū)π畔⑦M行細致的分析和評估，從而得出更加準確和全面的結(jié)論。然而，由于這種思考方式需要消耗較多的認知資源，所以比System1要慢得多。

此外，在面對緊急情況或壓力較大的情境下，System2的表現(xiàn)可能會受到影響，導致決策效率降低。

谷歌雙思維AI Agent——Talker-Reasoner

而谷歌DeepMind研究人員提出的Talker-Reasoner中，巧妙地將System1/2集成到了AI Agent上。

Talker-Reasoner架構(gòu)的核心思想是將AI Agent分為兩個獨立的模塊：Talker和Reasoner。這兩個模塊分別對應于人類的System 1和System 2，各自承擔著不同的任務和功能。

Talker模塊，類似于System 1，負責快速、直觀的對話生成，它能夠迅速響應用戶的需求，生成自然語言的回答。而Reasoner模塊，類似于System 2，負責復雜的多步推理和規(guī)劃，它需要更多的時間和計算資源來處理復雜的任務，如調(diào)用外部工具、檢索信息和解決問題。

在Talker模塊中，AI Agent被設計為能夠理解和處理自然語言，生成連貫和自然的對話。這需要AI Agent具備強大的語言理解和生成能力，以及對上下文的敏感性。Talker模塊需要能夠快速地從記憶中提取相關(guān)信息，以支持其對話生成。

這種記憶可以是對話歷史、用戶偏好或其他相關(guān)信息。Talker模塊的設計使其能夠模擬人類的直覺反應，即使在信息不完全的情況下也能做出合理的回應。

與Talker模塊的快速反應不同，Reasoner模塊的設計重點在于深度思考和復雜問題解決。Reasoner模塊需要能夠執(zhí)行多步推理，這可能涉及到對大量信息的分析和處理。它需要調(diào)用各種工具和數(shù)據(jù)庫，以獲取外部知識，支持其推理過程。

Reasoner模塊還需要能夠形成和更新關(guān)于用戶狀態(tài)的信仰，這些信仰以結(jié)構(gòu)化語言對象的形式存儲在記憶中。這種信仰建模是Reasoner模塊的關(guān)鍵特征，它使得AI Agent能夠更好地理解用戶的需求和意圖，從而提供更準確的服務。

在實際應用中，Talker和Reasoner模塊之間的交互是通過記憶來實現(xiàn)的。Reasoner模塊負責生成新的信仰狀態(tài)，并將其存儲在記憶中。Talker模塊在需要時從記憶中檢索這些信仰狀態(tài)，以支持其對話生成。

這種設計允許Talker模塊即使在Reasoner模塊尚未完成其推理過程時，也能夠繼續(xù)與用戶進行互動。該分工類似于人類的大腦，System 1始終活躍，而System 2則在需要時介入。

Talker-Reasoner測試數(shù)據(jù)

為了測試Talker-Reasoner的雙思維性能，研究人員用這個開發(fā)了一個睡眠輔導Agent。在這個場景中，AI Agent需要與用戶進行對話，提供關(guān)于改善睡眠習慣的建議和計劃。

Talker模塊負責與用戶的直接互動，而Reasoner模塊則負責制定和調(diào)整睡眠輔導計劃。這種分工使得AI Agent能夠同時進行快速的對話和復雜的規(guī)劃，提高了用戶體驗。

在測試中，Talker模塊通過一系列指令編碼專家知識，指導其完成睡眠輔導的各個階段。這些指令不僅包括了與用戶互動的規(guī)則，還包括了睡眠輔導的具體步驟和策略。Talker模塊需要能夠理解和回應用戶的需求，同時保持對話的連貫性和自然性。

Reasoner模塊則需要根據(jù)用戶的反饋和需求，調(diào)整和優(yōu)化睡眠輔導計劃。這可能涉及到調(diào)用外部資源，如睡眠相關(guān)的研究和建議，以及根據(jù)用戶的具體情況制定個性化的計劃。

Reasoner模塊的設計使其能夠處理復雜的邏輯和推理，為用戶提供最合適的建議。

在實際對話中，Talker和Reasoner模塊的協(xié)同工作被證明是有效的。Talker模塊能夠流暢地與用戶對話，而Reasoner模塊則能夠根據(jù)用戶的反饋調(diào)整和優(yōu)化輔導計劃。這種分工執(zhí)行使得AI Agent能夠同時處理快速的對話和復雜的規(guī)劃，極大提高了用戶體驗。

論文地址：https://arxiv.org/abs/2410.08328v1

本文轉(zhuǎn)自 AIGC開放社區(qū)  ，作者：AIGC開放社區(qū)

原文鏈接:??https://mp.weixin.qq.com/s/Mpg0KZ7sS2pltIlWTt4u0A??