該技術報告的主要作者 Lu Wang, Fangkai Yang, Chaoyun  Zhang, Shilin He, Pu Zhao, Si Qin 等均來自 Data, Knowledge, and Intelligence (DKI) 團隊，為微軟 TaskWeaver, WizardLLM, Windows GUI Agent UFO 的核心開發(fā)者。

近年來，大語言模型（Large Language Models, LLMs）的迅猛發(fā)展推動了自然語言處理（NLP）領域的技術進步。這些模型在對話生成、文本翻譯、知識問答和代碼生成等任務中展現(xiàn)出卓越的性能。

然而，盡管 LLMs 可以通過語言生成為用戶提供信息支持，其功能仍局限于文本層面，無法主動與物理或數(shù)字環(huán)境交互，或因缺乏領域知識和數(shù)據(jù)而導致生成的「動作」效果不佳。這種「語言 - 行動斷層」阻礙了人工智能（AI）在許多實際場景中的廣泛應用。

為解決這一核心問題，微軟團隊首次提出了一種完整的方法體系，詳盡描述了在無直接可用數(shù)據(jù)的情況下如何從零開始訓練一個大行動模型（Large Action Model, LAM），并將其逐步構建為可在真實環(huán)境中完成任務的智能體。

這一工作為 LAM 模型訓練的奠定了基礎，還為 AI 從被動語言生成向主動行動生成的轉變提供了新思路。

• 技術報告鏈接：Large Action Models: From Inception to Implementation
• 數(shù)據(jù)處理代碼鏈接：https://github.com/microsoft/UFO/tree/main/dataflow
• 完整的技術文檔鏈接：https://microsoft.github.io/UFO/dataflow/overview/ 
  

從語言到行動的必要演化

LLMs 的局限性

傳統(tǒng) LLMs，如 OpenAI 的 GPT 系列和 Mistral-7B，能夠生成富有邏輯性和創(chuàng)意的文本內(nèi)容，廣泛應用于問答系統(tǒng)、代碼補全、文案生成等任務中。然而，當用戶的需求超越語言生成層面，例如操作軟件、完成復雜的工作流程或直接操控物理設備時，這些模型便暴露出明顯的不足。

這一局限性源于 LLMs 的設計初衷：它們被優(yōu)化用于生成語言內(nèi)容，而非執(zhí)行行動。雖然 LLMs 在任務規(guī)劃和意圖理解方面表現(xiàn)出色，但它們?nèi)狈π袆由伤璧娜蝿辗纸?、環(huán)境交互和多步執(zhí)行能力。 

LAM（大行動模型）具備三大特性：

• 用戶意圖理解，能從多種輸入（語言、語音、圖像等）中準確解析意圖并轉化為具體可執(zhí)行計劃；
• 行動生成能力，可根據(jù)環(huán)境將用戶需求轉化為 GUI 操作、API 調用、物理動作等多種形式的具體步驟；
• 動態(tài)規(guī)劃與適應，能夠分解復雜任務，靈活應對環(huán)境變化，實時調整計劃以完成目標。這些特性使 LAM 在復雜任務執(zhí)行中表現(xiàn)出色。

 圖 1：從 LLM 到 LAM 的演化

從 LLMs 到 LAMs 的挑戰(zhàn)

如圖 1 所示，構建 LAMs 的核心挑戰(zhàn)在于如何將模型從一個被動的文本生成器轉變?yōu)槟軌蛟谡鎸嵀h(huán)境中執(zhí)行復雜任務的主動行動生成器。這一轉變不僅需要重新定義模型能力，還涉及從數(shù)據(jù)、訓練方法到評估方式的全面革新：

• 數(shù)據(jù)積累的難題

數(shù)據(jù)獲取是訓練 LAM 的最大挑戰(zhàn)。LAM 需要大量任務 - 行動對數(shù)據(jù)來學習如何在不同環(huán)境中執(zhí)行操作。然而，這類數(shù)據(jù)在實際應用中往往難以獲取或批量收集。

• 模型訓練的重大轉化

LAM 的開發(fā)需要從僅生成文本的 LLMs 轉化為具備任務規(guī)劃、動態(tài)執(zhí)行和調整能力的模型。這不僅需要對模型架構進行深度改造，還需要采用全新的訓練方法，以賦予模型行動生成與環(huán)境適配的能力。

• 離線評估的局限性

在靜態(tài)、受控環(huán)境中測試 LAM 的性能是必要的一步，用以驗證其基礎能力。然而，僅止步于離線評估無法真實反映模型在實際復雜場景中的表現(xiàn)。

• 環(huán)境適配與線上評估的復雜性

LAM 需要實時與復雜、多樣的數(shù)字或物理環(huán)境交互。這要求模型具備動態(tài)適應性，能夠根據(jù)實時反饋調整行動。此外，在真實環(huán)境中進行線上評估，測試 LAM 的準確性、效率和任務完成效果，是驗證其實際性能的關鍵環(huán)節(jié)。

針對上述挑戰(zhàn)，微軟團隊首次提出并實現(xiàn)了一套完整的從 0 到 1 訓練 LAM 模型的流程，涵蓋了從數(shù)據(jù)積累、模型訓練到實際部署的所有步驟。

該團隊的方法不僅解決了「無數(shù)據(jù)」的初始瓶頸，還通過逐步迭代的方式，讓模型從簡單的任務規(guī)劃能力成長為具備復雜行動生成能力的智能體。這一研究填補了現(xiàn)有領域的空白，為 LAMs 的開發(fā)提供了首個實踐范例。

數(shù)據(jù)積累

從無到有構建 LAM 的第一步

在訓練 LAM（大行動模型）時，數(shù)據(jù)積累是關鍵。與 LLMs（大語言模型）訓練需要大量文本數(shù)據(jù)類似，LAM 的開發(fā)依賴高質量的任務 - 行動數(shù)據(jù)。

然而，這類數(shù)據(jù)在實際應用中非常稀缺，特別是領域專屬和可執(zhí)行的數(shù)據(jù)。為了克服這一瓶頸，該團隊設計了一套從無到有的數(shù)據(jù)收集與處理流程，分為兩大階段：任務 - 計劃數(shù)據(jù)收集和任務 - 行動數(shù)據(jù)收集。

圖 2：任務 - 計劃數(shù)據(jù)的收集過程

階段一：任務 - 計劃數(shù)據(jù)收集

如圖 2 所示，任務 - 計劃數(shù)據(jù)以用戶請求為起點，生成任務描述及其對應的詳細操作步驟。該團隊從多種開源資源中收集任務 - 計劃對，包括應用幫助文檔（如 Microsoft Word 的幫助頁面）、WikiHow 任務教程，以及用戶的搜索查詢記錄。

通過這些來源，該團隊構建了包含 76,672 對任務與計劃的初始數(shù)據(jù)集，其中 29,182 對是直接獲取的，47,490 對通過數(shù)據(jù)擴展技術生成。

此外，他們采用數(shù)據(jù)增強技術生成更多任務 - 計劃對。通過 GPT-4o 演化原始任務，增加復雜性和約束條件，同時生成相應的計劃，擴展數(shù)據(jù)集規(guī)模至原來的 150%。例如，「在 Excel 中創(chuàng)建下拉菜單」被演化為「創(chuàng)建依賴下拉菜單，并根據(jù)第一列選擇過濾第二列內(nèi)容」，從而提高模型對復雜任務的適應能力。

圖 3：任務 - 行動數(shù)據(jù)收集過程

階段二：任務 - 行動數(shù)據(jù)收集

任務 - 計劃數(shù)據(jù)雖然用于高層次規(guī)劃，但不能直接執(zhí)行。如圖 3 所示，為填補從規(guī)劃到執(zhí)行的差距，該團隊通過以下步驟生成任務 - 行動數(shù)據(jù)：

1. 實例化任務：利用預定義模板（如 Word 文檔樣例），將任務描述具體化，將抽象的計劃步驟轉化為具體的行動序列（如「點擊菜單欄中的「設計」選項」）。

2. 執(zhí)行驗證：在真實環(huán)境中執(zhí)行實例化的任務，捕獲執(zhí)行軌跡和環(huán)境反饋，確保行動序列的可操作性和正確性。

3. 評估與后處理：使用 GPT-4o 對執(zhí)行結果進行驗證，僅保留與任務目標一致的成功軌跡，并記錄詳細元數(shù)據(jù)（如環(huán)境狀態(tài)和執(zhí)行時間），最終生成結構化的任務 - 行動對。

這一流程最終生成了覆蓋廣泛操作場景的任務 - 行動數(shù)據(jù)集，為 LAM 訓練提供了精確的行動模板，顯著提升了模型在真實環(huán)境中的任務執(zhí)行能力。

通過兩階段的逐步積累，成功地從「無數(shù)據(jù)」狀態(tài)出發(fā)，構建了 LAM 訓練所需的高質量任務 - 行動數(shù)據(jù)。這一方法不僅解決了數(shù)據(jù)稀缺問題，還通過引入真實環(huán)境交互和動態(tài)驗證，確保數(shù)據(jù)的高效性和適用性，為從 LLMs 到 LAMs 的轉變提供了堅實基礎。

方法：從 0 到 1，逐步構建 LAM

如圖 4 所示，構建 LAM 的過程分為四個階段，涵蓋了從數(shù)據(jù)積累到模型訓練的完整工作流。

圖 4：LAM 的訓練過程

第一階段：任務計劃預訓練

為了讓模型具備基本的任務規(guī)劃能力，首先訓練模型生成任務分解計劃。數(shù)據(jù)來源為任務 - 計劃數(shù)據(jù)。模型的目標是根據(jù)輸入任務生成正確的任務分解計劃。例如，「在 Word 中插入表格」被分解為「點擊插入菜單」、「選擇表格選項」、「輸入表格行列數(shù)」等步驟。這一階段讓模型掌握了任務分解的基本能力，為后續(xù)的行動生成打下了基礎。

第二階段：專家知識學習

盡管第一階段的模型可以生成任務計劃，但仍缺乏執(zhí)行這些計劃的能力。為此，需要利用收集到的任務 - 行動數(shù)據(jù)，并通過模仿學習訓練模型執(zhí)行具體操作。經(jīng)過訓練，模型從一個被動的計劃生成器轉變?yōu)槟軌驁?zhí)行計劃的主動行動生成器。

第三階段：自我探索提升

專家數(shù)據(jù)的覆蓋范圍有限，無法囊括所有可能的任務場景。為此，該團隊設計了自我探索機制，將 LAM 部署在 UFO 中，UFO 是一個開源 GUI Agent 框架，能夠通過交互 Windows 操作系統(tǒng)中的圖形用戶界面（GUI）元素來完成任務。讓 LAM 嘗試完成之前失敗的任務，并從中積累新的成功經(jīng)驗。

1. 任務挑戰(zhàn)：模型嘗試完成 2,284 個由 GPT-4 未解決的任務，通過動態(tài)探索生成可能的成功軌跡。

2. 數(shù)據(jù)擴展：在自我探索中，模型生成了 496 條新成功軌跡，將其與之前的專家數(shù)據(jù)合并形成擴展數(shù)據(jù)集。

3. 模型迭代：通過再次微調，模型進一步提升了處理復雜任務的能力，增強了對未知環(huán)境的適應性。

這一階段實現(xiàn)了從無數(shù)據(jù)到新數(shù)據(jù)的自動生成與積累，擴展了訓練數(shù)據(jù)的覆蓋范圍。

第四階段：獎勵模型優(yōu)化

為了進一步提升模型的行動質量，在此引入了獎勵模型（Reward Model, RM），同時利用正負反饋，通過強化學習優(yōu)化 LAM 的決策能力。

實驗結果

離線實驗結果

表格 1：不同 LAM 訓練階段的離線實驗結果

為了驗證訓練方法的有效性，該團隊在 435 個任務上對不同階段的 LAM 模型進行了離線測試。如表格 1 的實驗結果顯示，LAM 的各階段的訓練都帶來了模型性能提升。

環(huán)境適配

圖 5：LAM 智能體架構

如圖 5 所示，經(jīng)過訓練的 LAM 模型被集成到 GUI 智能體 UFO 的 AppAgent 中作為推理引擎，后者充當橋梁，將 LAM 預測的動作「著地」為可執(zhí)行的實際操作。

線上實驗結果

表格 2：LAM 的線上實驗結果

如表格 2 所示，LAM 在線上實驗任務中成功率（TSR）方面表現(xiàn)優(yōu)異，達到 71.0%，在文本輸入模式下超越了基線模型（GPT-4o 和 GPT-4o Mini）。

效率對比

LAM 在任務完成時間和平均步時延上展現(xiàn)了顯著優(yōu)勢：

1. 任務完成時間：LAM 完成單個任務平均耗時僅 30.42 秒，相比之下，無視覺輸入的 GPT-4o 耗時 86.42 秒，約為 LAM 的 2.84 倍，而帶視覺輸入的 GPT-4o 耗時更長，為 96.48 秒。

2. 平均步時延：LAM 的每步時延為 5.41 秒，顯著優(yōu)于無視覺輸入的 GPT-4o（12.84 秒）和帶視覺輸入的 GPT-4o（19.36 秒）。

更多細節(jié)，請參閱技術報告原文。