2024年，生成式AI與大模型的爆發(fā)式增長(zhǎng)，推動(dòng)AI技術(shù)從“工具輔助”邁向“自主決策”的新階段。AI智能體（AI Agent）作為這一趨勢(shì)的核心載體，正逐漸滲透至企業(yè)服務(wù)、智能制造、金融、醫(yī)療等關(guān)鍵領(lǐng)域。然而，技術(shù)的快速迭代往往伴隨著未被充分認(rèn)知的風(fēng)險(xiǎn)。

近日，Gartner高級(jí)研究總監(jiān)趙宇（Angela Zhao）在接受媒體采訪時(shí)深入剖析了AI智能體的技術(shù)架構(gòu)、安全挑戰(zhàn)及應(yīng)對(duì)策略。作為長(zhǎng)期關(guān)注AI安全的研究者，趙宇指出，AI智能體的自主決策能力使其成為“特權(quán)訪問者”，但當(dāng)前行業(yè)對(duì)安全風(fēng)險(xiǎn)的認(rèn)知不足，治理框架的缺失，將成為AI智能體技術(shù)落地的最大阻礙。

從感知到執(zhí)行，AI智能體的核心邏輯

隨著大語言模型、深度學(xué)習(xí)等技術(shù)的不斷進(jìn)步，智能體的能力得到了顯著提升。它們不僅能夠感知外部環(huán)境、理解用戶指令，還能根據(jù)目標(biāo)和上下文進(jìn)行自主規(guī)劃和決策。這種自主性和靈活性使得智能體在金融、醫(yī)療、制造等多個(gè)領(lǐng)域展現(xiàn)出巨大的應(yīng)用潛力。

在趙宇的解讀中，AI智能體的本質(zhì)是“大模型+工具+工作流”的集成體。與傳統(tǒng)生成式AI不同，智能體通過感知環(huán)境、自主規(guī)劃、調(diào)用工具、執(zhí)行任務(wù)，形成閉環(huán)決策能力。她以一張技術(shù)架構(gòu)圖為例，將智能體拆解為五大模塊：

1）感知模塊：采集外部信息與用戶指令；

2）目標(biāo)模塊（Goal）：定義智能體的存在目的與任務(wù)導(dǎo)向；

3）規(guī)劃模塊：基于感知信息和歷史記憶生成任務(wù)方案；

4）工具模塊：調(diào)度外部API或物理設(shè)備；

5）記憶模塊：存儲(chǔ)任務(wù)上下文與歷史行為數(shù)據(jù)。

“智能體的核心在于動(dòng)態(tài)環(huán)境中的持續(xù)交互。例如，自動(dòng)駕駛中的智能體需實(shí)時(shí)解析道路信息，而工業(yè)場(chǎng)景中的智能體可能需協(xié)調(diào)多臺(tái)設(shè)備。”趙宇強(qiáng)調(diào)，這種復(fù)雜性使得傳統(tǒng)生成式AI的“輸入-輸出”模式被徹底顛覆。

從幻覺到物理失控，四類威脅亟需關(guān)注

雖然技術(shù)的快速發(fā)展讓AI智能體正在從科幻概念演變?yōu)橹厮墚a(chǎn)業(yè)格局的核心引擎，但是當(dāng)這些具備自主決策能力的數(shù)字實(shí)體深入金融、醫(yī)療、制造等命脈領(lǐng)域時(shí)，其安全問題已不再是單純的技術(shù)挑戰(zhàn)，而是關(guān)乎數(shù)字經(jīng)濟(jì)存續(xù)的戰(zhàn)略命題。

趙宇表示，盡管AI智能體展現(xiàn)出巨大潛力，但其安全風(fēng)險(xiǎn)呈現(xiàn)“放大效應(yīng)”。在趙宇看來，AI智能體主要存在四類威脅：

一是風(fēng)險(xiǎn)放大。首先是大模型的幻覺。大模型的概率性輸出特性，在動(dòng)態(tài)環(huán)境中可能導(dǎo)致嚴(yán)重誤判，。例如，自動(dòng)駕駛智能體若錯(cuò)誤識(shí)別交通標(biāo)志，可能引發(fā)事故。其次是提示注入攻擊。攻擊者通過篡改工具名稱或描述（如MCP協(xié)議中的“Rug Pull攻擊”），誘導(dǎo)智能體執(zhí)行惡意指令。趙宇特別提到擴(kuò)展的供應(yīng)鏈風(fēng)險(xiǎn)——攻擊鏈延長(zhǎng)至第三方甚至第四方服務(wù)，追蹤難度陡增。

二是自主決策風(fēng)險(xiǎn)。“智能體的行為基線難以定義。”趙宇表示，傳統(tǒng)安全依賴靜態(tài)行為分析，但智能體可能因持續(xù)學(xué)習(xí)偏離預(yù)設(shè)路徑。例如，金融領(lǐng)域的智能體若擅自調(diào)整風(fēng)控策略，可能導(dǎo)致系統(tǒng)性風(fēng)險(xiǎn)。

三是多智能體交互。在多智能體協(xié)作場(chǎng)景中，訪問控制漏洞可能引發(fā)權(quán)限濫用。趙宇以“級(jí)聯(lián)失控”為例解釋：“若一個(gè)智能體被攻破，攻擊者可能通過其憑據(jù)橫向滲透至整個(gè)系統(tǒng)。”此外，資源競(jìng)爭(zhēng)可能導(dǎo)致任務(wù)沖突，影響業(yè)務(wù)穩(wěn)定性。

四是物理環(huán)境交互風(fēng)險(xiǎn)。主要包括傳感器欺騙、惡意指令篡改、隱私泄漏三類。趙宇以輔助駕駛為例，進(jìn)行了詳細(xì)的介紹。她表示，偽造交通標(biāo)志或聲波干擾語音助手，可能造成重大的安全事故。趙宇強(qiáng)調(diào)，物理環(huán)境交互風(fēng)險(xiǎn)是最危險(xiǎn)卻最被忽視的領(lǐng)

在與中國(guó)企業(yè)的交流中，約70%的客戶對(duì)AI智能體的基礎(chǔ)概念尚不清晰，更遑論安全風(fēng)險(xiǎn)。趙宇表示，廠商側(cè)同樣存在問題——多數(shù)企業(yè)未配備專職安全團(tuán)隊(duì)，產(chǎn)品安全性存疑。

“許多企業(yè)將智能體與自動(dòng)化工作流混為一談，實(shí)際上兩者在自主性上有本質(zhì)差異。”趙宇提醒，盲目追求“快速上線”可能埋下隱患。

從技術(shù)加固到生態(tài)治理，Gartner規(guī)劃出安全應(yīng)對(duì)策略

在本場(chǎng)媒體溝通會(huì)上，趙宇不但分享了AI智能體與傳統(tǒng)AI存在的差異性風(fēng)險(xiǎn)，還針對(duì)每一種風(fēng)險(xiǎn)，給出了詳細(xì)的防護(hù)措施?？偨Y(jié)歸納一下，Gartner給出的這套防御體系，包括技術(shù)層和生態(tài)層兩大層面。

在技術(shù)層面，一是通過對(duì)抗訓(xùn)練提升模型魯棒性；二是通過邊界控制，限制智能體可訪問的工具與數(shù)據(jù)（如API白名單）；三是通過動(dòng)態(tài)監(jiān)控，實(shí)時(shí)追蹤行為日志，建立自動(dòng)化響應(yīng)機(jī)制。

針對(duì)多智能體場(chǎng)景，趙宇建議采用“零信任架構(gòu)”，為每個(gè)智能體分配獨(dú)立憑證，并實(shí)施最小權(quán)限原則。她表示，資源隔離與動(dòng)態(tài)配額同樣關(guān)鍵，例如為高優(yōu)先級(jí)任務(wù)預(yù)留計(jì)算資源。

在生態(tài)層面，通過供應(yīng)鏈安全，掃描開源組件漏洞，采用“AI物料清單”管理依賴項(xiàng)；利用物理防護(hù)，通過多傳感器交叉驗(yàn)證降低欺騙風(fēng)險(xiǎn)，部署緊急停止機(jī)制；借助隱私保護(hù)，利用邊緣計(jì)算減少數(shù)據(jù)回傳，結(jié)合動(dòng)態(tài)數(shù)據(jù)掩碼技術(shù)。

趙宇坦言，由于AI智能體目前處于探索期，全球范圍內(nèi)缺乏統(tǒng)一的AI智能體安全標(biāo)準(zhǔn)。國(guó)內(nèi)雖有一些機(jī)構(gòu)發(fā)布技術(shù)要求，但細(xì)則尚未公開。她呼吁企業(yè)“邊實(shí)踐邊治理”。

盡管挑戰(zhàn)重重，趙宇對(duì)AI智能體的未來持謹(jǐn)慎樂觀態(tài)度。她表示，用AI對(duì)抗AI或是終極方案。目前已有企業(yè)嘗試?yán)?span>AI實(shí)時(shí)監(jiān)控智能體行為，但準(zhǔn)確性仍需提升。MITRE ATT&CK等組織正構(gòu)建針對(duì)智能體的攻擊戰(zhàn)術(shù)庫(kù)，為防御提供理論框架。

除此之外，通過開源技術(shù)社區(qū)與跨國(guó)開發(fā)者協(xié)作，可能會(huì)產(chǎn)生重大的突破，或許能從底層推動(dòng)協(xié)議標(biāo)準(zhǔn)化。

結(jié)語：安全是AI智能體“向?qū)嵍?span>”的前提

雖然 AI智能體看起來比較火熱，但是短期內(nèi)AI智能體會(huì)優(yōu)先應(yīng)用于企業(yè)服務(wù)場(chǎng)景（如客服、文檔處理），而C端應(yīng)用會(huì)面臨較大的隱私與權(quán)限問題的挑戰(zhàn)。但無論如何，企業(yè)需為智能體分配獨(dú)立身份，避免直接繼承用戶權(quán)限。

采訪尾聲，趙宇反復(fù)強(qiáng)調(diào)“安全需從Day One開始”：“技術(shù)可以試錯(cuò)，但安全沒有回頭路。尤其是涉及物理環(huán)境的場(chǎng)景，一次事故足以摧毀公眾信任。”

在趙宇看來，AI智能體的發(fā)展正站在十字路口——是成為推動(dòng)效率革命的“新引擎”，還是因安全缺位淪為“失控的武器”，取決于企業(yè)、廠商與監(jiān)管機(jī)構(gòu)的共同抉擇。

“慢下來，或許才能走得更遠(yuǎn)。”趙宇如是說。