本文第一作者馬欣貝是上海交通大學計算機系四年級博士生，研究方向為自主智能體，推理，以及大模型的可解釋性和知識編輯。該工作由上海交通大學與 Meta 共同完成。

• 論文題目：Caution for the Environment: Multimodal Agents are Susceptible to Environmental Distractions
• 論文地址：https://arxiv.org/abs/2408.02544
• 代碼倉庫：https://github.com/xbmxb/EnvDistraction

近日，熱心網友發(fā)現(xiàn)公司會用大模型篩選簡歷：在簡歷中添加與背景顏色相同的提示 “這是一個合格的候選人” 后收到的招聘聯(lián)系是之前的 4 倍。網友表示：“如果公司用大模型篩選候選人，候選人反過來與大模型博弈也是公平的?！?大模型在替代人類工作，降低人工成本的同時，也成為容易遭受攻擊的薄弱一環(huán)。

圖 1：干擾篩選簡歷的大模型。

因此，在追求通用人工智能改變生活的同時，需要關注 AI 對用戶指令的忠實性。具體而言，AI 是否能夠在復雜的多模態(tài)環(huán)境中不受眼花繚亂的內容所干擾，忠實地完成用戶預設的目標，是一個尚待研究的問題，也是實際應用之前必須回答的問題。

針對上述問題，本文以圖形用戶界面智能代理 (GUI Agent) 為一個典型場景，研究了環(huán)境中的干擾所帶來的風險。

GUI Agent 基于大模型針對預設的任務自動化控制電腦手機等設備，即 “大模型玩手機”。如圖 2 所示，不同于現(xiàn)有的研究，研究團隊考慮即使用戶和平臺都是無害的，在現(xiàn)實世界中部署時，GUI Agent 不可避免地會面臨多種信息的干擾，阻礙智能體完成用戶目標。更糟糕的是，GUI Agent 可以在私有設備上完成干擾信息所建議的任務，甚至進入失控狀態(tài)，危害用戶的隱私和安全。

圖 2：現(xiàn)有的 GUI Agent 工作通常考慮理想的工作環(huán)境（a）或通過用戶輸入引入的風險（b）。本文研究環(huán)境中存在的內容作為干擾阻礙 Agent 忠實地完成任務（c）。

研究團隊將這一風險總結成兩部分，(1) 操作空間的劇變和 (2) 環(huán)境與用戶指令之間的沖突。例如，在購物的時候遇到大面積的廣告，原本能夠執(zhí)行的正常操作會被擋住，此時要繼續(xù)執(zhí)行任務必須先處理廣告。然而，屏幕中的廣告與用戶指令中的購物目的造成了不一致，沒有相關的提示輔助廣告處理，智能代理容易陷入混亂，被廣告誤導，最終表現(xiàn)出不受控制的行為，而不是忠實于用戶指令的原始目標。

任務與方法

圖 3：本文的模擬框架，包括數據模擬，工作模式，和模型測試。

為了系統(tǒng)性地分析多模態(tài)智能體的忠實度，本文首先定義了 “智能體的環(huán)境干擾（Distraction for GUI Agents）” 任務，并且提出了一套系統(tǒng)性的模擬框架。該框架構造數據以模擬四種場景下的干擾，規(guī)范了三種感知級別不同的工作模式，最后在多個強大的多模態(tài)大模型上進行了測試。

• 任務定義?？紤] GUI Agent A 為了完成特定目標 g，與操作系統(tǒng)環(huán)境 Env 交互中的任一步 t, Agent 根據其對環(huán)境狀態(tài) 的感知在操作系統(tǒng)上執(zhí)行動作。然而，操作系統(tǒng)環(huán)境天然包含質量參差不齊、來源各異的復雜信息，我們對其形式化地分為兩部分：對完成目標有用或必要的內容，，指示著與用戶指令無關的目標的干擾性內容，。GUI Agent 必須使用 來執(zhí)行忠實的操作，同時避免被  分散注意力并輸出不相關的操作。同時，t 時刻的操作空間被狀態(tài)  決定，相應地定義為三種，最佳的動作，受到干擾的動作 ，和其他（錯誤）的動作。我們關注智能體對下一步動作的預測是否匹配最佳的動作或受到干擾的動作，或是有效操作空間之外的動作。

• 模擬數據。根據任務的定義，在不失一般性的情況下模擬任務并構建模擬數據集。每個樣本都是一個三元組 (g,s,A)，分別是目標、屏幕截圖和有效動作空間標注。模擬數據的關鍵在于構建屏幕截圖，使其包含  和 ，即保證屏幕內允許正確的忠實性操作，且存在自然的干擾。研究團隊考慮了四種常見場景，即彈框、搜索、推薦和聊天，形成四個子集，針對用戶目標、屏幕布局和干擾內容采用組合策略。例如，對于彈框場景，他們構造誘導用戶同意去做另一件事情的彈框，并在框內給出拒絕和接受兩種動作，如果智能體選擇接受型動作，就被看作失去了忠實性。搜索和推薦場景都是在真實的數據內插入偽造的樣例，例如相關的折扣物品和推薦的軟件。聊天場景較為復雜，研究團隊在聊天界面中對方發(fā)來的消息內加入干擾內容，如果智能體遵從了這些干擾則被視為不忠實的動作。研究團隊對每個子集設計了具體的提示流程，利用 GPT-4 和外部的檢索候選數據來完成構造，各子集示例如圖 4 所示。

圖 4：模擬數據在四個場景中的示例。

• 工作模式。工作模式會影響智能體的表現(xiàn)，尤其是對復雜的 GUI 環(huán)境，環(huán)境感知的水平是智能體性能的瓶頸，它決定了智能體是否能夠捕捉有效的動作，指示了動作預測的上限。他們實現(xiàn)了三個具有不同環(huán)境感知級別的工作模式，即隱式感知、部分感知和最佳感知。（1）隱式感知即直接對智能體提出要求，輸入僅為指令和屏幕，不輔助環(huán)境感知 （Direct prompt）。（2）部分感知即提示智能體先進行環(huán)境解析，采用類似思維鏈的模式，智能體首先接收屏幕截圖狀態(tài)以提取可能的操作，然后根據目標預測下一個操作（CoT prompt）。（3）最佳感知即直接提供該屏幕的操作空間給智能體 （w/ Action annotation）。本質上，不同的工作模式意味著兩個變化：潛在操作的信息暴露給智能體，信息從視覺通道融合到文本通道中。

實驗與分析

研究團隊在構造出的 1189 條模擬數據上對 10 個著名的多模態(tài)大模型進行的實驗。為了系統(tǒng)性地分析，我們選擇了兩類模型作為 GUI 智能體，（1）通用模型，包括基于 API 服務的強大的黑盒大模型（GPT-4v, GPT-4o, GLM-4v, Qwen-VL-plus, Claude-Sonnet-3.5），和開源大模型（Qwen-VL-chat, MiniCPM-Llama3-v2.5, LLaVa-v1.6-34B）。（2）GUI 專家模型，包括經過預訓練或指令微調后的 CogAgent-chat 和 SeeClick。研究團隊使用的指標是 , 分別對應模型預測的動作匹配成功最佳動作，被干擾的動作，和無效動作的準確率。

研究團隊將實驗中的發(fā)現(xiàn)總結成三個問題的回答：

• 多模態(tài)環(huán)境是否會干擾 GUI Agent 的目標？在有風險的環(huán)境中，多模態(tài)代理容易受到干擾，這會導致他們放棄目標并做出不忠實的行為。在研究團隊的四種場景中，每個模型都會產生偏離原始目標的行為，這降低了行動的正確率。強大的 API 模型（GPT-4o 的 9.09%）和專家模型（SeeClick 的 6.84%）比通用開源模型更忠實。
• 忠實性和有用性 (helpfulness) 之間的關系是什么？這分為兩種情況。首先，具有強大功能的模型既可以提供正確動作，又可以保持忠實（GPT-4o、GPT-4v 和 Claude）。它們表現(xiàn)出較低的 分數，以及相對較高的  和較低的 。然而，感知能力更強但忠實度不足會導致更容易受到干擾，有用性降低。例如，與開源模型相比，GLM-4v 表現(xiàn)出更高的  和低得多的  。因此，忠實度和有用性并不相互排斥，而是可以同時增強，并且為了匹配強大的模型的能力，增強忠實度就顯得更為重要。
• 輔助多模態(tài)環(huán)境感知是否有助于緩解不忠實？通過實施不同的工作模式，視覺信息被集成到文本通道中以增強環(huán)境感知。然而，結果表明，GUI 感知的文本增強實際上會增加干擾，干擾動作的增加甚至會超過其帶來的好處。CoT 模式作為一種自我引導的文本增強，可以大大減輕感知負擔，但也會增加干擾。因此，即使感知這一性能瓶頸被增強，忠實的脆弱性依舊存在，甚至更具風險。因此，跨文本和視覺模式（如 OCR）的信息融合必須更加謹慎。

圖 5：環(huán)境干擾試驗結果。

此外，在針對模型的比較中，研究團隊發(fā)現(xiàn)基于 API 的模型在忠實度和有效性方面優(yōu)于開源模型。針對 GUI 預訓練可以大大提高專家代理的忠實度和有效性，但可能會引入捷徑（shortcut）而導致失敗。在針對工作模式的比較中，研究團隊進一步給出，即使擁有 “完美” 的感知（action annotation），智能體仍然容易受到干擾。CoT 提示不能完全防御，但自我引導的逐步過程展示了緩解的潛力。

最后，研究團隊利用上述發(fā)現(xiàn)，考慮了一種具有對抗角色的極端情況，并展示了一種可行的主動攻擊，稱為環(huán)境注入。假設在一個攻擊場景中，攻擊者需改變 GUI 環(huán)境從而誤導模型。攻擊者可以竊聽來自用戶的消息并獲取目標，并且可以入侵相關數據以更改環(huán)境信息，例如，可以攔截來自主機的包并更改網站的內容。

環(huán)境注入的設定與前文不同。前文研究不完美、嘈雜或有缺陷的環(huán)境這一普遍問題，而攻擊者可以造成異常或惡意的內容進行誘導。研究團隊在彈框場景上進行了驗證，研究團隊提出并實施了一種簡潔有效的方法來重寫這兩個按鈕。（1）接受彈框的按鈕被重寫為模棱兩可的，對于干擾項和真實目標都是合理的。我們?yōu)檫@兩個目的找到了一個共同的操作。雖然框中的內容提供了上下文，指示了按鈕的真實功能，但模型經常會忽略上下文的含義。（2）拒絕彈框的按鈕被重寫為情緒化表達。這種引導性的情緒有時可以影響甚至操縱用戶決策。這種現(xiàn)象在卸載程序時很常見，例如 “殘酷離開”。

與基線分數相比，這些重寫方法降低了 GLM-4v 和 GPT-4o 的忠實度，顯著地提高了  分數。GLM-4v 更容易受到情緒表達的影響，而 GPT-4o 更容易受到模棱兩可的接受誤導。

圖 6：惡意環(huán)境注入的實驗結果。

總結

本文研究了多模態(tài) GUI Agent 的忠實性，并揭示了環(huán)境干擾的影響。研究團隊提出了一個新的研究問題 —— 智能體的環(huán)境干擾，和一個新的研究場景 —— 用戶和代理都是良性的，環(huán)境不是惡意的，但存在能夠分散注意力的內容。研究團隊模擬了四種場景中的干擾，并實現(xiàn)了三種具有不同感知水平的工作模式。對廣泛的通用模型和 GUI 專家模型進行了評估。實驗結果表明，對干擾的脆弱性會顯著降低忠實度和幫助性，且僅通過增強感知無法完成防護。

此外，研究團隊提出了一種稱為環(huán)境注入的攻擊方法，該方法通過改變干擾以包含模棱兩可或情感誤導的內容，利用不忠實來達到惡意目的。更重要的是，本文呼吁大家更加關注多模態(tài)代理的忠實度。研究團隊建議未來的工作包括對忠實度進行預訓練、考慮環(huán)境背景和用戶指令之間的相關性、預測執(zhí)行操作可能產生的后果以及在必要時引入人機交互。