最近，OpenAI 的秘密項目「Q*」一直受到了圈內(nèi)人士的廣泛關注。上個月，以它為前身、代號為「草莓（Strawberry）」的項目又被曝光了。據(jù)推測，該項目能夠提供高級推理能力。

最近幾天，關于這個項目，網(wǎng)絡上又來了幾波「鴿死人不償命」的傳播。尤其是一個「草莓哥」的賬號，不間斷地宣傳，給人期望又讓人失望。

沒想到，這個 Sam Altman 出現(xiàn)在哪里，它就在哪里跟帖的「營銷號」，皮下竟然是個智能體？

今天，一家 AI 智能體初創(chuàng)公司「MultiOn」的創(chuàng)始人直接出來認領：雖然沒等來 OpenAI 發(fā)布「Q*」，但我們發(fā)了操控「草莓哥」賬號的全新智能體 Agent Q，快來和我們在線玩耍吧！

MultiOn 聯(lián)合創(chuàng)始人兼 CEO Div Garg，他在斯坦福讀計算機科學博士期間休學創(chuàng)業(yè)。

這波看起來讓 OpenAI 給自己做嫁衣的營銷操作給大家都看懵了。畢竟，最近很多人徹夜未眠等待 OpenAI 的「大新聞」。這要追溯到 Sam Altman 和「草莓哥」的互動，在 Sam Altman 曬出的草莓照片下，他回復了「草莓哥」：驚喜馬上就來。

不過，「MultiOn」的創(chuàng)始人 Div Garg 已經(jīng)把認領 Agent Q 就是「草莓哥」的帖子悄悄刪了。

此次，「MultiOn」宣稱，他們發(fā)布的 Agent Q 是一款突破性的 AI 智能體。它的訓練方法結合了蒙特卡洛樹搜索（MCTS）和自我批評，并且通過一種叫做直接偏好優(yōu)化（DPO）的算法來學習人類的反饋。

與此同時，作為擁有規(guī)劃和 AI 自我修復功能的下一代 AI 智能體，Agent Q 的性能是 LLama 3 基線零樣本性能的 3.4 倍。同時，在真實場景任務的評估中，Agent Q 的成功率達到了 95.4%。

Agent Q 能做什么呢？我們先來看一下官方 Demo。

它能夠為你預定某個時間某家餐廳的座位。

然后為你執(zhí)行網(wǎng)頁操作，比如查詢空位情況。最終成功預定。

此外還能預定航班（比如本周六從紐約飛往舊金山，單程、靠窗和經(jīng)濟艙）。

不過，網(wǎng)友似乎對 Agent Q 并不買賬。大家關心更多的還是他們是否真的借「草莓哥」賬號炒作的事情，甚至有些人稱他們?yōu)闊o恥的騙子。

重要組件和方法概覽

目前，Agent Q 的相關論文已經(jīng)放出，由 MultiOn 和斯坦福大學的研究者聯(lián)合撰寫。這項研究的成果將在今年晚些時候向開發(fā)人員和使用 MultiOn 的普通用戶開放。

• 論文地址：https://multion-research.s3.us-east-2.amazonaws.com/AgentQ.pdf

總結一波：Agent Q 能夠自主地在網(wǎng)頁上實施規(guī)劃并自我糾錯，從成功和失敗的經(jīng)驗中學習，提高它在復雜任務中的表現(xiàn)。最終，該智能體可以更好地規(guī)劃如何在互聯(lián)網(wǎng)上沖浪，以適應現(xiàn)實世界的復雜情況。

在技術細節(jié)上， Agent Q 的主要組件包括如下：

使用 MCTS（Monte Carlo Tree Search，蒙特卡洛樹搜索）進行引導式搜索：該技術通過探索不同的操作和網(wǎng)頁來自主生成數(shù)據(jù)，以平衡探索和利用。MCTS 使用高采樣溫度和多樣化提示來擴展操作空間，確保多樣化和最佳的軌跡集合。

AI 自我批評：在每個步驟中，基于 AI 的自我批評都會提供有價值的反饋，從而完善智能體的決策過程。這一步驟級反饋對于長期任務至關重要，因為稀疏信號通常會導致學習困難。

直接偏好優(yōu)化（DPO）：該算法通過從 MCTS 生成的數(shù)據(jù)構建偏好對以微調(diào)模型。這種離策略訓練方法允許模型從聚合數(shù)據(jù)集（包括搜索過程中探索的次優(yōu)分支）中有效地學習，從而提高復雜環(huán)境中的成功率。

下面重點講一下網(wǎng)頁（Web-Page）端的 MCTS 算法。研究者探索了如何通過 MCTS 賦予智能體額外的搜索能力。

在以往的工作中，MCTS 算法通常由四個階段組成：選擇、擴展、模擬和反向傳播，每個階段在平衡探索與利用、迭代細化策略方面都發(fā)揮著關鍵作用。

研究者將網(wǎng)頁智能體執(zhí)行公式化為網(wǎng)頁樹搜索，其中狀態(tài)由智能體歷史和當前網(wǎng)頁的 DOM 樹組成。與國際象棋或圍棋等棋盤游戲不同，研究者使用的復雜網(wǎng)絡智能體操作空間是開放格式且可變的。

研究者將基礎模型用作操作建議（action-proposal）分布，并在每個節(jié)點（網(wǎng)頁）上采樣固定數(shù)量的可能操作。一旦在瀏覽器中選擇并執(zhí)行一個操作，則會遍歷下個網(wǎng)頁，并且該網(wǎng)頁與更新的歷史記錄共同成為新節(jié)點。

研究者對反饋模型進行多次迭代查詢，每次從列表中刪除從上一次迭代中選擇的最佳操作，直到對所有操作進行完整排序。下圖 4 為完整的 AI 反饋過程。

擴展和回溯。研究者在瀏覽器環(huán)境中選擇并執(zhí)行一個操作以到達一個新節(jié)點（頁面）。從選定的狀態(tài)節(jié)點軌跡開始，他們使用當前策略 ??_?? 展開軌跡，直到到達終止狀態(tài)。環(huán)境在軌跡結束時返回獎勵 ??，其中如果智能體成功則 ?? = 1，否則 ?? = 0。接下來，通過從葉節(jié)點到根節(jié)點自下而上地更新每個節(jié)點的值來反向傳播此獎勵，如下所示：

下圖 3 展示了所有結果和基線。當讓智能體在測試時能夠搜索信息時，即為基礎 xLAM-v0.1-r 模型應用 MCTS 時，成功率從 28.6% 提升到了 48.4%，接近平均人類表現(xiàn)的 50.0%，并且顯著超過了僅通過結果監(jiān)督訓練的零樣本 DPO 模型的性能。

研究者進一步根據(jù)下圖中概述的算法對基礎模型進行了微調(diào)，結果比基礎 DPO 模型提高了 0.9%。在精心訓練的 Agent Q 模型上再應用 MCTS，智能體的性能提升到了 50.5%，略微超過了人類的平均表現(xiàn)。

他們認為，即使智能體經(jīng)過了大量的強化學習訓練，在測試時具備搜索能力仍然是一個重要的范式轉變。與沒有經(jīng)過訓練的零樣本智能體相比，這是一個顯著的進步。

此外，盡管密集級監(jiān)督比純粹的基于結果的監(jiān)督有所改善，但在 WebShop 環(huán)境中，這種訓練方法的提升效果并不大。這是因為在這個環(huán)境里，智能體只需要做很短的決策路徑，可以通過結果來學習信用分配。

評估結果

研究者選擇了讓智能體在 OpenTable 官網(wǎng)上預訂餐廳的任務來測試 Agent Q 框架在真實世界的表現(xiàn)如何。要完成這個訂餐任務，智能體必須在 OpenTable 網(wǎng)站上找到餐廳的頁面，選擇特定的日期和時間，并挑選符合用戶偏好的座位，最后提交用戶的聯(lián)系方式，才能預定成功。

最初，他們對 xLAM-v0.1-r 模型進行了實驗，但該模型表現(xiàn)不佳，初始成功率僅為 0.0%。因此，他們轉而使用 LLaMa 70B Instruct 模型，取得了一些初步的成功。

不過由于 OpenTable 是一個實時環(huán)境，很難通過編程或自動化的方式進行測量和評估。因此，研究者使用 GPT-4-V 根據(jù)以下指標為每個軌跡收集獎勵：(1) 日期和時間設置正確，(2) 聚會規(guī)模設置正確，(3) 用戶信息輸入正確，以及 (4) 點擊完成預訂。如果滿足上述所有條件，則視為智能體完成了任務。結果監(jiān)督設置如下圖 5 所示。

而 Agent Q 將 LLaMa-3 模型的零樣本成功率從 18.6% 大幅提高到了 81.7%，這個結果僅在單日自主數(shù)據(jù)收集后便實現(xiàn)了，相當于成功率激增了 340%。在引入在線搜索功能后，成功率更是攀升至 95.4%。

更多技術細節(jié)和評估結果請參閱原論文。