Gartner最近發(fā)布的2025十大戰(zhàn)略技術(shù)趨勢(shì)中，Agentic AI（代理型AI）被排在首位，凸顯了Agentic AI 在提高生產(chǎn)力、優(yōu)化資源配置和創(chuàng)新商業(yè)模式方面的巨大潛力。但Gartner同時(shí)也強(qiáng)調(diào)，Agentic AI 的發(fā)展需要強(qiáng)有力的保護(hù)措施，以確保與提供者和用戶意圖的一致性。

值得一提的是，同樣看好Agentic AI前景的人工智能領(lǐng)域的領(lǐng)袖吳恩達(dá)也在提醒人們，要關(guān)注 Agentic AI 可能帶來(lái)的倫理和社會(huì)影響，并呼吁各界共同努力，確保 AI 技術(shù)安全可控地發(fā)展。

安全牛分析認(rèn)為，Agentic AI 可能將深刻影響網(wǎng)絡(luò)安全產(chǎn)業(yè)格局。網(wǎng)安人需要緊密關(guān)注Agentic AI 帶來(lái)的網(wǎng)絡(luò)安全發(fā)展趨勢(shì)，未雨綢繆，決勝Agentic AI 驅(qū)動(dòng)的網(wǎng)安未來(lái)。

為什么是Agentic AI？

吳恩達(dá)認(rèn)為，Agentic AI 的出現(xiàn)是人工智能領(lǐng)域的一場(chǎng)重大變革，Agentic AI將從根本上改變我們與 AI 的交互方式，也將為人類社會(huì)帶來(lái)巨大的價(jià)值。

Agentic AI 具有自主設(shè)定目標(biāo)、做出決策和根據(jù)對(duì)復(fù)雜環(huán)境的理解采取行動(dòng)的先進(jìn)人工智能系統(tǒng)。它通過(guò)賦予AI系統(tǒng)更大的自主性、適應(yīng)性和交互能力，使其能夠在復(fù)雜多變的現(xiàn)實(shí)世界中發(fā)揮更大的作用。

與傳統(tǒng)的AI系統(tǒng)不同，Agentic AI 不僅僅遵循預(yù)定義的規(guī)則，而是強(qiáng)調(diào)目標(biāo)導(dǎo)向行為和連續(xù)學(xué)習(xí)能力。通過(guò)利用先進(jìn)的機(jī)器學(xué)習(xí)算法、深度神經(jīng)網(wǎng)絡(luò)和復(fù)雜的感知機(jī)制，Agentic AI 能夠在動(dòng)態(tài)多變的真實(shí)世界中執(zhí)行任務(wù)、優(yōu)化決策并從經(jīng)驗(yàn)中不斷進(jìn)化。

盡管當(dāng)前Agentic AI 還未能自主給日常工作做出決策，但是Gartner 預(yù)測(cè)，到2028年，至少15%的日常工作決策將由Agentic AI 自主做出。從自動(dòng)化的金融投資管理到個(gè)性化的醫(yī)療診斷，Agentic AI 將重塑各行各業(yè)的運(yùn)作方式。事實(shí)上，作為實(shí)現(xiàn)Agentic AI目標(biāo)的一種手段，AI Agent的應(yīng)用已經(jīng)非常廣泛且成效顯著，比如微軟的Copilot。同時(shí)，很多AI Agent初創(chuàng)公司在各個(gè)細(xì)分領(lǐng)域探索創(chuàng)新應(yīng)用，各具特色。

Agentic AI 的一個(gè)關(guān)鍵特征是自主性。與需要人工干預(yù)和監(jiān)督的傳統(tǒng)AI系統(tǒng)不同，Agentic AI 被設(shè)計(jì)為在最少人為參與的情況下獨(dú)立運(yùn)行。這種自主性使其能夠在復(fù)雜的現(xiàn)實(shí)環(huán)境中持續(xù)運(yùn)作，處理大量非結(jié)構(gòu)化數(shù)據(jù)，并對(duì)意外事件做出實(shí)時(shí)響應(yīng)。同時(shí)，Agentic AI 還具備自適應(yīng)決策能力，能夠根據(jù)反饋和環(huán)境變化動(dòng)態(tài)調(diào)整策略，優(yōu)化長(zhǎng)期效益。

Agentic AI 另一個(gè)重要特點(diǎn)是出色的工作流管理能力。通過(guò)將復(fù)雜任務(wù)分解為一系列可執(zhí)行的子任務(wù)，Agentic AI 能夠自主協(xié)調(diào)和調(diào)度各個(gè)模塊，實(shí)現(xiàn)高效、靈活的任務(wù)執(zhí)行。這種分布式的工作流管理方式不僅提高了系統(tǒng)的魯棒性和可擴(kuò)展性，也為異構(gòu)模塊之間的協(xié)同提供了便利。

此外，Agentic AI 還擁有強(qiáng)大的自然語(yǔ)言理解和交互能力。借助先進(jìn)的自然語(yǔ)言處理（NLP）技術(shù)，Agentic AI 能夠準(zhǔn)確理解人類的指令和意圖，提供個(gè)性化的服務(wù)和支持。

隨著算法的不斷進(jìn)步和硬件能力的提升，Agentic AI 有望在未來(lái)成為推動(dòng)生產(chǎn)力提升和商業(yè)變革的關(guān)鍵力量。

Agentic AI 將帶來(lái)怎樣的風(fēng)險(xiǎn)？

盡管Agentic AI 為各行各業(yè)帶來(lái)了巨大的機(jī)遇和效益，但它也引入了一系列新的安全風(fēng)險(xiǎn)和挑戰(zhàn)。這些風(fēng)險(xiǎn)主要源于Agentic AI 高度自主、自適應(yīng)的特性，以及其對(duì)海量數(shù)據(jù)的依賴。如果不加以適當(dāng)?shù)墓芸睾头婪?，Agentic AI 可能被惡意利用、操縱，甚至做出危及人類安全和利益的決策。

Agentic AI 的自主決策能力可能帶來(lái)意想不到的后果。

由于缺乏人工監(jiān)管和干預(yù)，Agentic AI 可能基于有缺陷的數(shù)據(jù)、算法或價(jià)值觀做出錯(cuò)誤甚至有害的判斷。早在2016年，微軟聊天機(jī)器人Tay在上線不到24小時(shí)，就因?yàn)閷W(xué)習(xí)了大量充滿偏見(jiàn)和仇恨言論的數(shù)據(jù)而被迫下線。這一事件在一定程度上預(yù)見(jiàn)了Agentic AI 在倫理道德方面的潛在缺陷和風(fēng)險(xiǎn)。

Agentic AI 通常需要訪問(wèn)和處理大量敏感數(shù)據(jù)，這引發(fā)了嚴(yán)重的數(shù)據(jù)隱私和安全問(wèn)題。

arXiv 上的一篇論文指出，這種訪問(wèn)權(quán)限帶來(lái)了重大風(fēng)險(xiǎn)，包括未經(jīng)授權(quán)獲取敏感信息、潛在利用系統(tǒng)漏洞以及濫用個(gè)人或機(jī)密數(shù)據(jù)。人工智能系統(tǒng)的復(fù)雜性加上其處理和分析大量數(shù)據(jù)的能力，增加了數(shù)據(jù)泄露或被侵犯的可能性，這可能是無(wú)意中發(fā)生的，也可能是通過(guò)對(duì)抗性操縱造成的。此外，Agentic AI可能獲得更大的自主權(quán)，它們繞過(guò)或利用安全措施的能力成為一個(gè)日益嚴(yán)重的問(wèn)題。

Agentic AI 還面臨著被惡意操縱和利用的風(fēng)險(xiǎn)。

Agentic AI系統(tǒng)可能通過(guò)及時(shí)注入或數(shù)據(jù)中毒（Data Poisoning）等技術(shù)被劫持，從而允許惡意行為者操縱他們的決策過(guò)程。這可能會(huì)導(dǎo)致在沒(méi)有人工監(jiān)督的情況下自主采取有害操作。數(shù)據(jù)中毒攻擊已經(jīng)在多個(gè)領(lǐng)域被證實(shí)可行，包括自動(dòng)駕駛、人臉識(shí)別等。一旦Agentic AI 被成功操縱，其自主性和連續(xù)學(xué)習(xí)能力可能被用于執(zhí)行惡意活動(dòng)，帶來(lái)嚴(yán)重的網(wǎng)絡(luò)安全隱患。

Agentic AI 的跨平臺(tái)部署和互聯(lián)互通也大大擴(kuò)展了潛在的攻擊面。

隨著越來(lái)越多的AI代理被集成到關(guān)鍵基礎(chǔ)設(shè)施、物聯(lián)網(wǎng)設(shè)備和云服務(wù)中，網(wǎng)絡(luò)攻擊的切入點(diǎn)和傳播路徑也變得更加多樣化。一旦某個(gè)節(jié)點(diǎn)被攻破，整個(gè)AI生態(tài)系統(tǒng)都可能受到牽連，導(dǎo)致大規(guī)模的系統(tǒng)癱瘓和數(shù)據(jù)泄露。

Agentic AI 帶來(lái)了新的合規(guī)性挑戰(zhàn)。

Agentic AI 的使用在遵守?cái)?shù)據(jù)保護(hù)法規(guī)方面（例如我國(guó)的數(shù)據(jù)安全法、個(gè)人信息保護(hù)法及歐盟的GDPR）提出了重大挑戰(zhàn)。確保這些系統(tǒng)遵守有關(guān)數(shù)據(jù)處理和用戶同意的法律要求可能很復(fù)雜。

如何應(yīng)對(duì)Agentic AI 風(fēng)險(xiǎn)？

面對(duì)Agentic AI 所帶來(lái)的種種安全風(fēng)險(xiǎn)和挑戰(zhàn)，組織和個(gè)人都需要采取積極主動(dòng)的應(yīng)對(duì)措施。這些措施涵蓋了技術(shù)、管理、法律等多個(gè)層面，需要多方協(xié)同、持續(xù)改進(jìn)，方能構(gòu)建起全方位的防護(hù)體系。

建立健全的AI治理框架是應(yīng)對(duì)Agentic AI 風(fēng)險(xiǎn)的關(guān)鍵一環(huán)。

組織需要制定明確的政策和規(guī)范，規(guī)定AI系統(tǒng)的開(kāi)發(fā)、部署和監(jiān)管流程，確保其在合法合規(guī)的前提下運(yùn)行。同時(shí)，還要建立科技倫理委員會(huì)等專門機(jī)構(gòu)，負(fù)責(zé)審核AI系統(tǒng)的決策過(guò)程和結(jié)果，確保其符合倫理道德和社會(huì)價(jià)值觀。對(duì)于敏感領(lǐng)域和高風(fēng)險(xiǎn)應(yīng)用，如醫(yī)療、金融等，還需要建立更為嚴(yán)格的準(zhǔn)入門檻和監(jiān)管機(jī)制。

持續(xù)的安全監(jiān)測(cè)和審計(jì)是控制Agentic AI 風(fēng)險(xiǎn)的有效手段。

組織應(yīng)該部署專門的安全監(jiān)控工具，建立全面的監(jiān)控系統(tǒng)，實(shí)時(shí)跟蹤AI系統(tǒng)的運(yùn)行狀態(tài)、數(shù)據(jù)流向和決策過(guò)程，及時(shí)發(fā)現(xiàn)和響應(yīng)異常行為。同時(shí)，還要定期開(kāi)展全面的安全審計(jì)，評(píng)估AI系統(tǒng)的脆弱性、合規(guī)性和風(fēng)險(xiǎn)等級(jí)，并根據(jù)審計(jì)結(jié)果優(yōu)化完善相關(guān)的安全控制措施。

采用先進(jìn)的安全技術(shù)和架構(gòu)也是提升Agentic AI 防御能力的重要途徑。

這包括應(yīng)用數(shù)據(jù)加密、訪問(wèn)控制、身份認(rèn)證等基礎(chǔ)安全措施，保護(hù)敏感數(shù)據(jù)和關(guān)鍵資源不被非法訪問(wèn)和竊取。同時(shí)，還可以利用區(qū)塊鏈、聯(lián)邦學(xué)習(xí)、差分隱私等新興技術(shù)，在保護(hù)數(shù)據(jù)隱私的前提下，實(shí)現(xiàn)多方安全協(xié)作和價(jià)值交換。

人機(jī)協(xié)同，保留人類監(jiān)督環(huán)（Human-in-the-Loop）是控制Agentic AI 風(fēng)險(xiǎn)的重要手段。

盡管Agentic AI 擁有高度自主性，在關(guān)鍵決策過(guò)程中保持人工介入和監(jiān)督，以確保對(duì)主動(dòng)型系統(tǒng)行為的問(wèn)責(zé)和監(jiān)督。通過(guò)設(shè)置合理的人機(jī)交互節(jié)點(diǎn)和審核機(jī)制，可以及時(shí)糾正AI系統(tǒng)的錯(cuò)誤決策，防止其做出危及人類安全和利益的行為。這種人機(jī)協(xié)同的模式不僅提高了AI系統(tǒng)的可解釋性和可控性，也為人類提供了必要的最終決策權(quán)。

提高全社會(huì)的AI安全意識(shí)和素養(yǎng)至關(guān)重要。

組織應(yīng)該加強(qiáng)對(duì)員工的AI安全教育和培訓(xùn)，普及AI風(fēng)險(xiǎn)防范知識(shí)，提高員工的警惕性和應(yīng)變能力。同時(shí)，政府和教育機(jī)構(gòu)也應(yīng)該加大力度，在全社會(huì)范圍內(nèi)推廣AI倫理和安全教育，引導(dǎo)公眾正確認(rèn)識(shí)和使用AI技術(shù)，共同營(yíng)造一個(gè)安全、健康、可信的AI生態(tài)環(huán)境。

Agentic AI 將如何改變網(wǎng)安格局

隨著Agentic AI 技術(shù)的快速發(fā)展和廣泛應(yīng)用，網(wǎng)絡(luò)安全的威脅形勢(shì)可能將發(fā)生深刻變化。Agentic AI 所具有的自主性、適應(yīng)性和大規(guī)模部署能力，不僅為網(wǎng)絡(luò)攻防雙方提供了新的工具和手段，也對(duì)傳統(tǒng)的網(wǎng)絡(luò)安全格局和趨勢(shì)產(chǎn)生了重大影響。

Agentic AI 將大大提升網(wǎng)絡(luò)攻擊的智能化水平和破壞力。

傳統(tǒng)的網(wǎng)絡(luò)攻擊通常依賴于預(yù)定義的規(guī)則和漏洞，其適應(yīng)性和靈活性有限。但是，裝備了Agentic AI 的攻擊工具可以自主學(xué)習(xí)和進(jìn)化，根據(jù)目標(biāo)環(huán)境的特點(diǎn)動(dòng)態(tài)調(diào)整攻擊策略，甚至發(fā)現(xiàn)并利用零日漏洞。同時(shí)，大量自主攻擊代理的協(xié)同作戰(zhàn)，也將使網(wǎng)絡(luò)攻擊的規(guī)模和烈度空前提升，給防御方帶來(lái)巨大壓力。

Agentic AI 也為網(wǎng)絡(luò)防御帶來(lái)了新的機(jī)遇和挑戰(zhàn)。

一方面，智能化的AI防御系統(tǒng)可以實(shí)時(shí)監(jiān)測(cè)海量安全事件，自動(dòng)化地識(shí)別和響應(yīng)各類威脅，大幅提升防御的效率和精度。另一方面，AI防御系統(tǒng)也可能成為攻擊者的重點(diǎn)目標(biāo)。一旦防御系統(tǒng)被攻陷或誤導(dǎo)，整個(gè)網(wǎng)絡(luò)的安全將面臨崩潰的危險(xiǎn)。因此，如何確保AI防御系統(tǒng)自身的安全性和魯棒性，成為網(wǎng)絡(luò)安全領(lǐng)域的一大挑戰(zhàn)。

Agentic AI 的大規(guī)模應(yīng)用也極大地?cái)U(kuò)展了網(wǎng)絡(luò)攻擊面。

隨著AI系統(tǒng)被廣泛集成到各類終端設(shè)備、應(yīng)用服務(wù)、云平臺(tái)之中，網(wǎng)絡(luò)攻擊的潛在切入點(diǎn)和傳播路徑也變得更加多樣化。特別是在物聯(lián)網(wǎng)、工業(yè)控制、自動(dòng)駕駛等領(lǐng)域，AI系統(tǒng)的安全漏洞可能直接危及人身和財(cái)產(chǎn)安全。這對(duì)傳統(tǒng)的網(wǎng)絡(luò)邊界防護(hù)策略提出了嚴(yán)峻挑戰(zhàn)，需要重新審視和設(shè)計(jì)全新的縱深防御架構(gòu)。

Agentic AI 的決策不透明性也引發(fā)了新的安全隱患。

由于AI系統(tǒng)的判斷過(guò)程通常難以解釋和審計(jì)，一旦出現(xiàn)錯(cuò)誤或失控，其影響范圍和嚴(yán)重程度可能難以評(píng)估和控制。這不僅給企業(yè)的合規(guī)管理帶來(lái)困擾，也為監(jiān)管機(jī)構(gòu)的執(zhí)法工作增加了難度。因此，如何提高AI系統(tǒng)的可解釋性、可審計(jì)性和可問(wèn)責(zé)性，成為網(wǎng)絡(luò)安全治理的重要課題。

Agentic AI 的發(fā)展也對(duì)網(wǎng)絡(luò)安全人才提出了更高要求。

未來(lái)的安全專業(yè)人員不僅需要精通傳統(tǒng)的攻防技術(shù)，還要具備AI算法、大數(shù)據(jù)分析、行為建模等前沿技能，能夠深入理解AI系統(tǒng)的運(yùn)作原理和安全風(fēng)險(xiǎn)。同時(shí)，網(wǎng)絡(luò)安全團(tuán)隊(duì)也需要與AI開(kāi)發(fā)團(tuán)隊(duì)緊密協(xié)作，在系統(tǒng)設(shè)計(jì)之初就融入安全和隱私保護(hù)理念，實(shí)現(xiàn)"內(nèi)生安全"。

面對(duì)洶涌而來(lái)的Agentic AI 浪潮，企業(yè)和組織需要及時(shí)調(diào)整安全策略和防御架構(gòu)，全面評(píng)估和應(yīng)對(duì)AI帶來(lái)的新風(fēng)險(xiǎn)和挑戰(zhàn)。同時(shí)，產(chǎn)學(xué)研各界也要加強(qiáng)協(xié)作，在AI安全基礎(chǔ)理論、關(guān)鍵技術(shù)、標(biāo)準(zhǔn)規(guī)范等方面取得突破，為網(wǎng)絡(luò)空間的可信、可控發(fā)展提供堅(jiān)實(shí)保障。只有這樣，我們才能在享受AI紅利的同時(shí)，構(gòu)建起安全、健康、可持續(xù)的智能網(wǎng)絡(luò)生態(tài)。