o1快慢思考的風(fēng)又吹到了Agent！
智能體（Agent）通過(guò)自然對(duì)話與用戶互動(dòng)有兩個(gè)任務(wù)：交談和規(guī)劃/推理。對(duì)話回應(yīng)必須基于所有可用信息，行動(dòng)必須有助于實(shí)現(xiàn)目標(biāo)。與用戶交談和進(jìn)行多步推理和規(guī)劃之間的二分法，類似卡尼曼引入的人類快速思考和慢速思考系統(tǒng)。
為此，Google DeepMind提出了一個(gè)名為T(mén)alker-Reasoner的雙系統(tǒng)架構(gòu)，以模擬人類的兩種思考系統(tǒng)。
Talker-Reasoner的雙系統(tǒng)架構(gòu)，用于構(gòu)建能夠通過(guò)自然對(duì)話與用戶互動(dòng)的智能代理。這種架構(gòu)受到人類“快速思考”和“慢速思考”系統(tǒng)的啟發(fā)，將Agent分為兩個(gè)部分：快速直觀的“Talker”（系統(tǒng)1）和慢速、深思熟慮的“Reasoner”（系統(tǒng)2）。
雙系統(tǒng)Talker-Reasoner方法的示意圖
Talker-Reasoner智能體模型
詳細(xì)介紹了提出的雙系統(tǒng)Talker-Reasoner智能體模型，該模型受到人類快速思考（System 1）和慢速思考（System 2）的啟發(fā)。這個(gè)模型將智能體分為兩個(gè)獨(dú)立的但相互協(xié)作的組件：
Talker-Reasoner架構(gòu)的圖表
- Talker智能體（System 1）：這個(gè)智能體是快速、直觀的，負(fù)責(zé)與用戶進(jìn)行自然語(yǔ)言交流，生成對(duì)話回應(yīng)。它類似于人類的直覺(jué)反應(yīng)，能夠迅速地從記憶中獲取信息，以支持其回應(yīng)。Talker智能體在每次與用戶互動(dòng)時(shí)都會(huì)激活，并且可以訪問(wèn)記憶來(lái)引導(dǎo)其回應(yīng)，類似于System 1的持續(xù)激活。
- Reasoner智能體（System 2）：這個(gè)智能體是慢速、深思熟慮且邏輯性強(qiáng)的，負(fù)責(zé)執(zhí)行復(fù)雜的多步推理和規(guī)劃。它調(diào)用工具、執(zhí)行動(dòng)作，并更新智能體的狀態(tài)。Reasoner智能體還負(fù)責(zé)形成和更新關(guān)于用戶的信念狀態(tài)，這些信念狀態(tài)以結(jié)構(gòu)化的語(yǔ)言對(duì)象形式存儲(chǔ)在記憶中。
這兩個(gè)智能體之間的主要交互方式是通過(guò)記憶。Reasoner智能體負(fù)責(zé)生成新的信念狀態(tài)和推導(dǎo)多步推理和規(guī)劃，并將它們存儲(chǔ)在記憶中。Talker智能體在需要信念時(shí)，會(huì)從記憶中檢索最新的狀態(tài)。因此，Talker智能體可能會(huì)使用延遲的世界視圖進(jìn)行操作，因?yàn)镽easoner智能體可能還沒(méi)有時(shí)間生成新的信念并將其存儲(chǔ)在記憶中。
此外，Talker智能體還可以選擇等待Reasoner智能體完成其推理過(guò)程，然后再生成回應(yīng)。這種設(shè)計(jì)允許快速印象和回應(yīng)的Talker智能體成為Reasoner智能體明確信念和選擇（計(jì)劃）的來(lái)源。這種分工方式在大多數(shù)情況下都能很好地工作，因?yàn)門(mén)alker智能體通常非常擅長(zhǎng)其任務(wù)：它可以自動(dòng)從記憶中獲取信息，有效地引導(dǎo)其底層模型以很好地應(yīng)對(duì)熟悉情況。
睡眠輔導(dǎo)智能體案例研究
通過(guò)一個(gè)睡眠輔導(dǎo)智能體的案例研究來(lái)評(píng)估和實(shí)例化Talker-Reasoner雙智能體架構(gòu)。在一個(gè)現(xiàn)實(shí)世界的應(yīng)用場(chǎng)景中展示該架構(gòu)的有效性，特別是在處理需要用戶建模、使用專家知識(shí)提供科學(xué)支持的建議、提供多步驟輔導(dǎo)計(jì)劃以及進(jìn)行對(duì)話和同理心交流的復(fù)雜任務(wù)時(shí)。
睡眠輔導(dǎo)智能體的實(shí)現(xiàn)：
- Talker智能體：通過(guò)一組專家提供的指導(dǎo)原則來(lái)編碼睡眠領(lǐng)域的專業(yè)知識(shí)，這些原則描述了智能體的構(gòu)成（例如，表現(xiàn)出同理心、進(jìn)行對(duì)話交流、提供準(zhǔn)確的建議）以及睡眠輔導(dǎo)的不同階段（理解、目標(biāo)設(shè)定和輔導(dǎo)計(jì)劃）。Talker智能體通過(guò)一個(gè)強(qiáng)大的語(yǔ)言模型實(shí)現(xiàn)，能夠理解復(fù)雜的模式并提供深思熟慮的對(duì)話回應(yīng)。
- Reasoner智能體：明確地對(duì)用戶的信念進(jìn)行建模。通過(guò)與臨床專家的合作，作者編碼了一個(gè)JSON/XML模式的信念，包括睡眠問(wèn)題、目標(biāo)、習(xí)慣、障礙和睡眠環(huán)境等字段。Reasoner智能體在執(zhí)行多步推理/規(guī)劃時(shí)，推斷并更新這些模式字段，從而創(chuàng)建或更新其信念狀態(tài)。
- Talker和Reasoner的協(xié)調(diào)：Talker智能體是否等待Reasoner智能體完成，取決于信念狀態(tài)。在規(guī)劃輔導(dǎo)階段，Talker智能體會(huì)等待Reasoner智能體完成；否則，它不會(huì)等待。
定性結(jié)果：
- 示例對(duì)話：展示了Talker和Reasoner智能體之間的互動(dòng)，包括如何根據(jù)用戶的需求生成回應(yīng)和計(jì)劃，以及如何根據(jù)用戶的反饋調(diào)整計(jì)劃。
- 根據(jù)反饋調(diào)整計(jì)劃：展示了Reasoner智能體如何根據(jù)Talker智能體從用戶那里收集的反饋來(lái)調(diào)整其計(jì)劃。
以下是一段示例對(duì)話，展示了Reasoner和Talker之間的互動(dòng)：
用戶：嘿，我需要你的幫助來(lái)規(guī)劃如何營(yíng)造一個(gè)放松的睡前環(huán)境。（記憶中的信念更新為：{updated-context: starting context, updated-title: Sleep Coaching, coachingphase: UNDERSTANDING}）
Talker：太好了，我們開(kāi)始為你打造一個(gè)放松的睡前環(huán)境吧:-) 你的臥室里有沒(méi)有什么可能會(huì)干擾你睡眠的東西？
用戶：我覺(jué)得噪音和光線太分散注意力了。你能幫我制定一個(gè)消除這些干擾的計(jì)劃嗎？（記憶中的信念保持不變）
Talker：當(dāng)然可以！這里有一個(gè)消除臥室干擾的計(jì)劃：噪音：
確定噪音源：列出臥室中所有的噪音源
隔絕外界噪音：使用遮光窗簾來(lái)阻擋光線和減少噪音；考慮使用降噪窗簾或隔音板；試試耳塞或白噪音機(jī)。光線：...記住，一致性是關(guān)鍵。每晚都堅(jiān)持這個(gè)計(jì)劃，以營(yíng)造一個(gè)平靜而黑暗的睡眠環(huán)境。還有什么我可以幫助你的嗎？
用戶：當(dāng)然，這很有用。不過(guò)，我希望步驟能更詳細(xì)一些。還想看看如何在我的臥室里營(yíng)造一個(gè)寧?kù)o放松的氛圍的資源。
（記憶中的信念更新為：{user context: UserCollectedContextData(primary-sleep-concern: Noise and light distractions in the bedroom), coaching phase: CoachingPhase(value=PLANNING)}）
Reasoner的計(jì)劃：當(dāng)然！讓我們更深入地看看你的計(jì)劃的第一步：
步驟：選擇一個(gè)平靜的色彩調(diào)色板。描述：在選擇臥室顏色時(shí)，選擇柔和的中性色調(diào)，如柔和的藍(lán)色、綠色或灰色。這些色調(diào)已被科學(xué)證明可以促進(jìn)放松和寧?kù)o。
1. YouTube視頻：（鏈接）標(biāo)題：創(chuàng)造放松和無(wú)壓力臥室的墻面顏色創(chuàng)意。
頻道：roomdsignTV。
推理：這個(gè)來(lái)自roomdsignTV的視頻提供了平靜臥室色彩調(diào)色板的視覺(jué)示例。它展示了舒緩色彩對(duì)營(yíng)造寧?kù)o氛圍的影響。
2. YouTube播放列表：（鏈接）標(biāo)題：Berger油漆色彩組合。
頻道：Hresun Interiors。
推理：這個(gè)來(lái)自Hresun Interiors的播放列表提供了一系列的臥室色彩組合創(chuàng)意。它涵蓋了從傳統(tǒng)到現(xiàn)代的多種風(fēng)格，幫助你找到適合臥室的完美色彩方案。
Talker：復(fù)制Reasoner的回應(yīng)
##### 根據(jù)反饋調(diào)整計(jì)劃
以下是Reasoner智能體如何根據(jù)Talker智能體從用戶那里收集的反饋來(lái)調(diào)整其計(jì)劃的示例：
用戶：謝謝你，這非常有用。你能在我的計(jì)劃中加入更多關(guān)于我應(yīng)該在空間中添加哪些放松聲音的步驟嗎？（記憶中的信念保持不變）
Reasoner的計(jì)劃：當(dāng)然可以！這是你的計(jì)劃中的“探索自然聲音”部分，以及一些相關(guān)的YouTube內(nèi)容：
探索自然聲音：這個(gè)部分旨在幫助你使用自然聲音在空間中創(chuàng)造一個(gè)平靜和寧?kù)o的氛圍。通過(guò)加入這些聲音，你可以促進(jìn)放松和減輕壓力。推薦YouTube視頻：...
發(fā)現(xiàn)治療頻率：在這個(gè)計(jì)劃的部分，我們將探索治療頻率的世界，這些頻率被認(rèn)為對(duì)放松和情緒健康有深遠(yuǎn)的影響。...YouTube推薦：
https://arxiv.org/pdf/2410.08328
Agents Thinking Fast and Slow: A Talker-Reasoner Architecture
Google DeepMind本文轉(zhuǎn)載自??PaperAgent??
