深度研究 | 解構(gòu)國內(nèi)外代表性Agentic AI系統(tǒng)風險模型
Agentic AI正在走向現(xiàn)實應用。這些擁有自主決策能力的AI系統(tǒng)也帶來了全新的安全挑戰(zhàn)。與傳統(tǒng)網(wǎng)絡安全風險不同,Agentic AI系統(tǒng)面臨著更為復雜、多維度的威脅態(tài)勢,需要我們以創(chuàng)新的視角重新審視安全防護體系。傳統(tǒng)的針對信息系統(tǒng)、網(wǎng)絡系統(tǒng)的風險評估模型,在面向大模型和Agentic AI系統(tǒng)的風險識別時,呈現(xiàn)出明顯不足,特別是在模型自身的生成內(nèi)容風險和對抗性風險方面。行業(yè)對數(shù)字風險研究,也隨著AI的發(fā)展從早期的信息系統(tǒng)安全、網(wǎng)絡系統(tǒng)安全逐漸向Agentic AI系統(tǒng)安全演進。本文將帶您深入探索國內(nèi)外代表性的Agentic AI系統(tǒng)風險模型,從傳統(tǒng)網(wǎng)絡安全威脅框架出發(fā),剖析Gartner、OWASP、CSA等國際權威機構(gòu),以及TC260、騰訊等國內(nèi)領先組織對AI安全風險的前沿研究,以及安全牛獨創(chuàng)的"洋蔥風險模型"。
在AI賦能萬物的新時代,唯有全面把握風險本質(zhì),才能構(gòu)建起堅實的安全防線,讓智能科技在可控、可信的環(huán)境中健康發(fā)展。
圖片
傳統(tǒng)網(wǎng)絡安全威脅模型
傳統(tǒng)網(wǎng)絡安全風險源自資產(chǎn)、威脅、脆弱性多個方面?!拔粗ィ芍馈?。為提高攻擊行為的可視性,安全研究組織從風險識別、分析、評估和管理等多個維度對網(wǎng)絡風險開展了研究,積累了很多有代表性的風險模型。目前常見及被廣泛認可的模型有:STRIDE(威脅建模模型)、ATT&CK(殺傷鏈模型)、CVSS(漏洞評估模型)、PASTA(攻擊模擬和威脅分析模型)、OCTAVE(關鍵威脅、資產(chǎn)和漏洞評估操作)、NIST《SP800-37風險管理框架》等。
圖片
常見網(wǎng)絡安全風險模型說明如下:
STRIDE(威脅建模模型)。該模型是微軟提出的以威脅為中心的一種威脅建模方法,用于識別和評估軟件系統(tǒng)的安全性。該模型將威脅分為假冒、篡改、抵賴、信息泄露、拒絕服務、權限提升六類,為威脅建模提供了系統(tǒng)的框架。隨著隱私風險日益凸顯,在傳統(tǒng) STRIDE 模型中加入了隱私威脅(Privacy),逐漸擴展為 ASTRIDE 模型,使其能更全面地應對現(xiàn)代系統(tǒng)中的各種安全威脅。
ATT&CK(攻擊鏈知識庫)。該模型是美國非營利性組織MITRE基于網(wǎng)絡殺傷鏈模型Cyber Kill Chain描述攻擊者在網(wǎng)絡攻擊過程中使用的戰(zhàn)術、技術和過程的知識框架。最初是基于對高級持續(xù)性威脅(APT)組織的研究而開發(fā)的,逐漸在網(wǎng)絡安全領域被廣泛使用。目前該模型已更新到V13版本,涉及14個戰(zhàn)術,191種技術和386個子技術。
CVSS(通用漏洞評分系統(tǒng))。該模型是用于評估計算機系統(tǒng)漏洞嚴重程度的開放標準,由美國國家漏洞數(shù)據(jù)庫(NVD)等組織開發(fā)和維護。自2005年發(fā)布以來,已經(jīng)經(jīng)歷了多個版本的更新,目前最新版本是 CVSS 3.1。每個版本都在不斷改進和完善評分機制,以更準確地反映漏洞的實際危害程度。
PASTA(攻擊模擬和威脅分析)。該模型是IBM提出的一種以風險為中心的威脅建??蚣埽饕糜谥笇ЫM織進行全面的網(wǎng)絡風險評估和管理,通過模擬攻擊過程來識別潛在的威脅和風險,幫助組織確定風險優(yōu)先級并制定相應的緩解策略。
OCTAVE(關鍵威脅、資產(chǎn)和漏洞評估操作)。該模型美國卡內(nèi)基梅隆大學(SEI)提出的一種用于識別和評估組織信息安全風險評估的方法。它由建立資產(chǎn)威脅概覽、識別基礎設施漏洞、制定安全戰(zhàn)略和計劃三個階段組成,強調(diào)組織內(nèi)部的人員在風險評估中的作用,通過自下而上的方式,讓組織的各個層面參與到風險評估過程中,重點關注組織的關鍵資產(chǎn)、威脅和漏洞,并制定相應的風險管理策略。
圖片
代表性Agentic AI系統(tǒng)風險模型
隨著AI的發(fā)展,行業(yè)對數(shù)字風險研究也從早期的信息系統(tǒng)安全、網(wǎng)絡系統(tǒng)安全逐漸向Agentic AI系統(tǒng)安全演進。Agentic AI系統(tǒng)風險開始成為當前國內(nèi)外網(wǎng)絡安全組織爭相研究的熱點。其中:
- 國外代表性Agentic AI風險模型有:Gartner TRiSM、OWASP LLM top10、CSA MAESTRO;
- 國內(nèi)代表性Agentic AI風險模型有:TC260《人工智能安全治理框架》、騰訊AI Sec Matrix。
Gartner的AI TRiSM
AI TRiSM框架是Gartner 于2022年提出的AI信任、風險和安全管理框架,旨在通過控制措施和信任機制,提供應對AI使用風險和自身安全風險的管理措施,幫助企業(yè)確保人工智能模型的治理、可信度、公平性、可靠性、穩(wěn)健性、有效性和數(shù)據(jù)保護。從2025年Gen AI的技術成熟度曲線來看,AI TRiSM已經(jīng)攀升到了炒作周期的頂峰,目前正處于備受矚目的關鍵階段。
圖片來源:Gartner Gartner AI TRiSM框架
CSA的MAESTRO
MAESTRO(Multi-Agent Environment, Security, Threat Risk and Outcome)是云安全聯(lián)盟(CSA)研究員Ken Huang專門針對Agentic AI系統(tǒng)安全挑戰(zhàn)設計的威脅建??蚣堋T摽蚣芰⒆阌贏I特有風險因素,包括對抗性機器學習攻擊、訓練數(shù)據(jù)投毒和模型提取等,在此基礎上擴展了STRIDE、PASTA和LINDDUN等傳統(tǒng)安全分類方法,構(gòu)建了更為全面的威脅識別與風險緩解體系。MAESTRO框架與Ken Huang提出的"七層智能體架構(gòu)"緊密結(jié)合,該架構(gòu)將AI系統(tǒng)分為七個功能層,使安全防護措施能夠精準對應到每個層級的特定風險點,實現(xiàn)了從宏觀到微觀的立體化安全防護策略。
MAESTRO模型基于特定層的威脅建模方法,幫助人們使用特定于某層的威脅來識別Agentic AI的風險。各層級及其關注的風險內(nèi)容如表所示:
圖片
OWASP的LLM應用程序風險TOP10
OWASP在2023年首次發(fā)布了LLM應用程序的十大安全風險。2025年,根據(jù)LLM實際應用的最新進展,OWASP對LLM的十大風險進行了更深層次的理解和細粒度修訂,風險范圍覆蓋了脆弱性、插件嵌入、應用部署、供應鏈等多個方面。變化示意圖如下圖所示。相比2023年的風險內(nèi)容,2025年的風險變化主要有以下幾點:
- “提示注入”和“數(shù)據(jù)泄露風險”仍位列榜首;
- “供應鏈”和“系統(tǒng)提示泄露”作為兩項新增風險引起了高度關注;
- “過度自主性風險”被進一步擴展,考慮了越來越多的自主性風險情況;
- “漏洞”和“訪問控制”風險,被進一步收斂到了“向量和嵌入的脆弱性”層面。
2023年和2025年LLM TOP10風險對比
TC260的《人工智能安全治理框架》
國內(nèi)Agentic AI風險研究的代表性研究成果是TC260的《人工智能安全治理框架》,該框架將Agentic AI風險典型的歸為內(nèi)生安全風險和應用安全風險兩類:
AI內(nèi)生安全風險具體包括:模型算法安全風險、數(shù)據(jù)安全風險、系統(tǒng)安全風險;
應用安全風險具體包括:網(wǎng)絡域安全風險、實現(xiàn)域安全風險、認知域安全風險、倫理域安全風險。
TC260的風險類型 騰訊的AI Sec Matrix
參考ATT&CK范式,騰訊AI安全實驗室提出了“AI安全威脅風險矩陣”。該矩陣聚焦人工智能風險,涵蓋AI模型生產(chǎn)、運行環(huán)境下全生命周期過程中的安全風險。該模型旨在向AI開發(fā)和維護人員提供有關AI系統(tǒng)安全問題的更好指南,以避免惡意控制、影響、欺詐、錯誤和隱私泄露所造成的嚴重后果。
圖片來源:騰訊AI安全實驗室 安全牛洋蔥風險模型
Agentic AI系統(tǒng)在應用中不僅面臨AI固有的特性所帶來的安全風險,還會與傳統(tǒng)的網(wǎng)絡安全和數(shù)據(jù)安全風險相互疊加。Agentic AI系統(tǒng)安全的根本目標是構(gòu)建安全可信的AI系統(tǒng)。
結(jié)合當前我國國情,安全?;跀?shù)字安全與風險管理體系及各層級的安全風險分析,提出了層層嵌套的風險模型,并形象地稱之為Agentic AI“洋蔥風險模型”(如下圖所示)。該模型基于Agentic AI系統(tǒng)的生命周期,按風險場景將Agentic AI風險劃分為:內(nèi)生性風險、使用性風險、供應鏈風險、倫理沖突與安全合規(guī)風險4層。在風險類別上覆蓋了Agentic AI面臨的6種風險類型,同時在風險管理上覆蓋到Agentic AI系統(tǒng)的全生命周期。
圖片來源:安全?!禔gentic AI安全技術應用指南》報告
洋蔥風險模型以Agentic AI系統(tǒng)為核心,從內(nèi)向外依次是:內(nèi)生性風險、使用性風險、供應鏈風險、倫理沖突與安全合規(guī)性風險。其中,內(nèi)生性風險、使用性風險根據(jù)風險產(chǎn)生的原因又可以細分為網(wǎng)絡風險、數(shù)據(jù)風險、開發(fā)風險和模型算法風險。
內(nèi)生性風險
是指由于模型算法、開發(fā)設計、組件引用等因素而導致的Agentic AI應用程序自身的脆弱性和漏洞風險。主要風險有:模型幻覺、生成內(nèi)容風險、過度自主性風險、提示泄露風險、API安全缺失、脆弱性風險、設計缺陷等。在風險管理體系中,內(nèi)生性風險對應開發(fā)過程,安全措施主要體現(xiàn)為:開發(fā)安全、應用加固、模型增強。
使用性風險
是指系統(tǒng)使用過程中外部因素導致的網(wǎng)絡風險和數(shù)據(jù)風險。主要風險有:DDoS攻擊、越權訪問、對抗攻擊、提示注入、數(shù)據(jù)泄露風險、個人隱私風險、API調(diào)用風險等。在風險管理體系中,使用風險對應縱深防護,安全措施主要體現(xiàn)為:網(wǎng)絡安全防護、數(shù)據(jù)安全防護、內(nèi)容安全防護等。
供應鏈風險
是指在系統(tǒng)整個生命周期中,由于應用程序集成、流轉(zhuǎn)、部署、訓練而從組織外部(第三方)引入的軟、硬件資源導致的風險。主要風險有:軟件供應鏈攻擊、開源組件風險、訓練數(shù)據(jù)投毒風險、基礎設施風險等。在風險管理體系中,供應鏈風險對應生態(tài)管理,包括:軟件供應鏈管理、數(shù)據(jù)供應管理、基礎設施管理等。
倫理沖突和安全合規(guī)風險
是指由于系統(tǒng)自身健全性、安全防護、風險管控等基礎安全措施不足而導致系統(tǒng)使用過程中未遵循相關的法律法規(guī)、行業(yè)標準,從而產(chǎn)生相應的法律沖突和合規(guī)風險問題。主要風險有:倫理道德與偏見、決策責任風險、網(wǎng)絡安全合規(guī)風險、數(shù)據(jù)安全合規(guī)風險、法律責任風險等。