根據(jù)專家預(yù)測(cè)，Agentic AI將帶來(lái)兩到三倍于當(dāng)前大語(yǔ)言模型(LLM)的生產(chǎn)力提升，因此2025年或?qū)⒊蔀锳gentic AI的元年。

然而，就如任何強(qiáng)大的新技術(shù)一樣， Agentic AI具有巨大的潛力，但也存在著重大的安全風(fēng)險(xiǎn)。一旦這些自主系統(tǒng)偏離預(yù)期軌道，后果可能是災(zāi)難性的。我們?cè)撊绾未_保它們的決策是安全、可靠且符合倫理的？如何保護(hù)這些AI免受黑客攻擊和數(shù)據(jù)污染？在擁抱Agentic AI的同時(shí)，我們又該如何重新定義網(wǎng)絡(luò)安全和數(shù)據(jù)隱私？

Agentic AI的正反面

Agentic AI是指可以自主行動(dòng)以實(shí)現(xiàn)特定目標(biāo)的 AI 系統(tǒng)。與像 ChatGPT 這樣簡(jiǎn)單處理和響應(yīng)輸入的傳統(tǒng) AI 模型不同，Agentic AI 具有一定的獨(dú)立性和決策能力，可以感知環(huán)境并根據(jù)感知做出決策、采取行動(dòng)實(shí)現(xiàn)預(yù)定目標(biāo)、從經(jīng)驗(yàn)中學(xué)習(xí)并調(diào)整行為，并與其他 AI  Agent或人類互動(dòng)以完成任務(wù)。

想象一下，未來(lái)由Agentic AI驅(qū)動(dòng)的智能助理可以主動(dòng)分析您的日程、習(xí)慣和偏好，為您量身定制高效的工作流程；在醫(yī)療領(lǐng)域，它們能夠綜合病人數(shù)據(jù)、最新研究成果，為醫(yī)生提供個(gè)性化的診斷和治療方案；在金融界，這些AI智能體可以實(shí)時(shí)分析市場(chǎng)動(dòng)態(tài)，制定出精準(zhǔn)的投資策略……

這不僅對(duì)已在試用該技術(shù)的大型組織是個(gè)好消息，隨著技術(shù)日趨成熟，中小企業(yè)也將從中獲益。普華永道聲稱，到2030年，這項(xiàng)技術(shù)每年可為全球GDP貢獻(xiàn)2.6萬(wàn)億至4.4萬(wàn)億美元。

谷歌、英偉達(dá)和Anthropic等公司在最近幾個(gè)月都宣布推出新工具。OpenAI首席執(zhí)行官Sam Altman暗示AI智能體將在今年進(jìn)入勞動(dòng)力市場(chǎng)。

然而，隨著AI系統(tǒng)從輔助性用例轉(zhuǎn)向動(dòng)態(tài)和主動(dòng)自主運(yùn)作，我們也需要保持謹(jǐn)慎。與在受控參數(shù)內(nèi)的傳統(tǒng)AI應(yīng)用不同，AI智能體會(huì)與多個(gè)系統(tǒng)和外部數(shù)據(jù)源互動(dòng)，可能會(huì)導(dǎo)致更廣泛的攻擊面、未經(jīng)授權(quán)的訪問(wèn)和數(shù)據(jù)泄露。

威脅者將無(wú)情地瞄準(zhǔn)不斷擴(kuò)大的AI攻擊面，尋找漏洞和錯(cuò)誤配置，以竊取訓(xùn)練數(shù)據(jù)和存儲(chǔ)在"向量"數(shù)據(jù)庫(kù)中的數(shù)據(jù)，并尋找機(jī)會(huì)污染數(shù)據(jù)/模型。一旦獲得未經(jīng)授權(quán)的訪問(wèn)權(quán)限，他們就可以向AI系統(tǒng)輸入錯(cuò)誤或有偏差的數(shù)據(jù)，從而操縱其行為/輸出。供應(yīng)鏈中使用的開(kāi)源組件也可能引入惡意軟件和/或漏洞，這也是一個(gè)風(fēng)險(xiǎn)。

與此同時(shí)，AI智能體的動(dòng)態(tài)和互聯(lián)性使實(shí)時(shí)威脅檢測(cè)具有挑戰(zhàn)性，往往超出了傳統(tǒng)安全措施的能力范圍。

七大風(fēng)險(xiǎn)點(diǎn)

安全?？偨Y(jié)認(rèn)為，Agentic AI帶來(lái)的風(fēng)險(xiǎn)點(diǎn)主要包括以下7個(gè)方面：

1. 擴(kuò)大的攻擊面: Agentic AI與多個(gè)系統(tǒng)和外部數(shù)據(jù)源交互，擴(kuò)大了攻擊面，增加了未經(jīng)授權(quán)訪問(wèn)和數(shù)據(jù)泄露的風(fēng)險(xiǎn)。

2. 數(shù)據(jù)污染：操縱訓(xùn)練數(shù)據(jù)可能會(huì)損害AI智能體的行為，導(dǎo)致AI決策產(chǎn)生有偏差的結(jié)果或意外后果。

3. 受損的框架組件：AI框架使用的庫(kù)或模塊中的惡意代碼可能會(huì)損害框架的功能，導(dǎo)致意外結(jié)果。

4. 缺乏監(jiān)控和控制：在沒(méi)有適當(dāng)監(jiān)控、日志記錄和控制措施的情況下部署Agentic AI存在重大安全風(fēng)險(xiǎn)。

5. 規(guī)避安全AI智能體：惡意參與者可能會(huì)使用對(duì)抗性技術(shù)來(lái)繞過(guò)安全AI智能體，導(dǎo)致它們無(wú)法檢測(cè)或正確響應(yīng)威脅。

6. 受損的安全AI智能體：攻擊者一旦控制了AI安全智能體，就可以利用它們執(zhí)行惡意任務(wù)或禁用安全系統(tǒng)。

7. 數(shù)據(jù)隱私：AI智能體處理大量敏感信息，使得數(shù)據(jù)隱私成為一個(gè)主要關(guān)注點(diǎn)。組織必須實(shí)施嚴(yán)格的協(xié)議，包括數(shù)據(jù)最小化、加密和訪問(wèn)控制機(jī)制，以防止未經(jīng)授權(quán)訪問(wèn)。

所有這些都可能導(dǎo)致數(shù)據(jù)泄露、勒索、服務(wù)中斷以及嚴(yán)重的聲譽(yù)和財(cái)務(wù)風(fēng)險(xiǎn)。

無(wú)意的失衡

但以上還不是全部。由于Agentic AI系統(tǒng)的價(jià)值在于它們可以自主運(yùn)作，因此存在模型做出不可預(yù)測(cè)決策的風(fēng)險(xiǎn)。這就是所謂的"無(wú)意的失衡"，與有人故意試圖利用AI進(jìn)行攻擊(例如通過(guò)提示注入或數(shù)據(jù)污染)的"有意的失衡"相對(duì)。

有許多令人擔(dān)憂的無(wú)意失衡的例子。例如，一輛被編程為優(yōu)先保護(hù)乘客安全的自動(dòng)駕駛汽車，它可能會(huì)錯(cuò)誤地將這些指令解讀為為了避免與另一輛車發(fā)生輕微碰撞而闖入行人，從而導(dǎo)致更嚴(yán)重的事故。若未對(duì)資源消耗進(jìn)行嚴(yán)格控制，Agentic AI 存在意外觸發(fā)針對(duì)宿主系統(tǒng)的拒絕服務(wù)（DoS）攻擊風(fēng)險(xiǎn)，典型場(chǎng)景包括過(guò)度生成子任務(wù)進(jìn)行遞歸求解等行為。

RAG風(fēng)險(xiǎn)的警示

這些風(fēng)險(xiǎn)并非純屬理論。檢索增強(qiáng)生成(RAG)的風(fēng)險(xiǎn)已經(jīng)露出了冰山一角。RAG是另一種新興的AI類型，與代理系統(tǒng)一樣，旨在克服AI開(kāi)發(fā)人員在使用LLM時(shí)遇到的局限性——即訓(xùn)練數(shù)據(jù)開(kāi)始耗盡。RAG使用搜索算法查詢第三方數(shù)據(jù)源(如網(wǎng)頁(yè)和數(shù)據(jù)庫(kù))，處理所找到的內(nèi)容，然后將其整合到預(yù)訓(xùn)練的LLM中。通過(guò)這種方式，它可以提供比傳統(tǒng)LLM更準(zhǔn)確、更新的答案，從而減少了幻覺(jué)的可能性。這就是為什么它在金融分析、患者護(hù)理和在線產(chǎn)品推薦等用例中越來(lái)越受歡迎。

為了運(yùn)行，它利用了各種組件，包括LLM、LLM托管平臺(tái)、開(kāi)源代碼和向量數(shù)據(jù)庫(kù)，后者提供了關(guān)鍵的索引和檢索功能。然而，這些組件存在著安全漏洞。除了已知的惡意或有漏洞的開(kāi)源組件風(fēng)險(xiǎn)外，研究還發(fā)現(xiàn)了LLM托管平臺(tái)Ollama在2024年就存在多個(gè)CVE漏洞。該平臺(tái)每年有超過(guò)一千個(gè)新版本發(fā)布，這使得跟蹤和修補(bǔ)這些漏洞變得困難重重。同一項(xiàng)研究還揭示了流行的向量數(shù)據(jù)庫(kù)Weaviate存在漏洞。

該研究聲稱，發(fā)現(xiàn)了數(shù)十個(gè)運(yùn)行開(kāi)源LLM托管軟件llama.cpp的服務(wù)器、數(shù)百個(gè)ChromaDB向量數(shù)據(jù)庫(kù)實(shí)例，以及數(shù)千個(gè)錯(cuò)誤配置的Ollama服務(wù)器。所有這些都暴露在互聯(lián)網(wǎng)上，無(wú)需任何身份驗(yàn)證即可訪問(wèn)。對(duì)于Ollama，這可能使威脅者能夠訪問(wèn)多達(dá)1.5萬(wàn)個(gè)獨(dú)立的LLM。除了利用漏洞之外，這還為威脅者提供了一個(gè)誘人的機(jī)會(huì)來(lái)竊取敏感數(shù)據(jù)，并破壞、操縱或干擾AI服務(wù)。鑒于Agentic AI使用了許多與RAG相同的組件(包括LLM和向量數(shù)據(jù)庫(kù))，因此它可能面臨著類似的威脅。

站在安全設(shè)計(jì)的角度

多年來(lái)，企業(yè)一直試圖將AI風(fēng)險(xiǎn)轉(zhuǎn)移到AI開(kāi)發(fā)商身上，要求提供防護(hù)措施來(lái)最大限度減少大語(yǔ)言模型違反預(yù)期指令的可能性。但防護(hù)措施并非硬性安全控制，它們只是風(fēng)險(xiǎn)的先導(dǎo)，而非緩解措施。

那么，組織如何才能重新掌控主動(dòng)權(quán)呢?最重要的是從安全設(shè)計(jì)的角度來(lái)處理AI。這意味著確保安全領(lǐng)導(dǎo)者在討論新項(xiàng)目時(shí)就有一席之地；并且在啟動(dòng)任何新計(jì)劃之前，都要進(jìn)行數(shù)據(jù)保護(hù)影響評(píng)估(DPIA)。

首先，采取"人在回路"(human-in-the-loop)的方法，確保Agentic AI做出的關(guān)鍵決策能夠由IT專家進(jìn)行審查，并在必要時(shí)加以修正。實(shí)時(shí)監(jiān)控AI的行為和性能，發(fā)現(xiàn)異常情況，供IT團(tuán)隊(duì)成員進(jìn)行檢查。定期審計(jì)AI系統(tǒng)也有助于確保它們做出正確對(duì)齊(而非有偏差或存在風(fēng)險(xiǎn))的決策。

其次，重視治理也很重要，為AI的開(kāi)發(fā)和使用提供道德指引，并定期審查是否符合這些規(guī)則。處理AI的員工應(yīng)接受培訓(xùn)，提高他們對(duì)該技術(shù)的理解能力，并能夠以符合道德、安全和可靠的方式使用它。

最后，組織應(yīng)該尋求AI安全領(lǐng)導(dǎo)者的幫助，以緩解實(shí)時(shí)的網(wǎng)絡(luò)相關(guān)風(fēng)險(xiǎn)?？梢圆捎昧阈湃蔚姆椒?，以確保只有經(jīng)授權(quán)的用戶才能訪問(wèn)AI系統(tǒng)，并快速檢測(cè)惡意活動(dòng)，如提示注入和數(shù)據(jù)泄露/盜竊。

重新思考敏感數(shù)據(jù)管理和網(wǎng)絡(luò)安全架構(gòu)

在網(wǎng)絡(luò)安全領(lǐng)域，Agentic AI 是一個(gè)范式轉(zhuǎn)變，正在以前所未有的速度重塑著行業(yè)。當(dāng)組織爭(zhēng)相利用人工智能時(shí)，他們正在釋放一股既革命性又潛在危險(xiǎn)的力量。

在此背景下，組織在將Agentic AI整合到網(wǎng)絡(luò)安全戰(zhàn)略時(shí)，需要從根本上重新思考他們對(duì)敏感數(shù)據(jù)管理和網(wǎng)絡(luò)安全架構(gòu)的方法。

在Agentic AI系統(tǒng)時(shí)代，敏感數(shù)據(jù)將比以往任何時(shí)候都更加寶貴。因此，組織的關(guān)注重點(diǎn)需要從"先修補(bǔ)"的心態(tài)轉(zhuǎn)移到以數(shù)據(jù)信任為中心，確保輸送到人工智能系統(tǒng)的數(shù)據(jù)是準(zhǔn)確、無(wú)偏差和安全的。這就需要實(shí)施健全的數(shù)據(jù)驗(yàn)證流程，維護(hù)清晰的數(shù)據(jù)系統(tǒng)，并定期審計(jì)數(shù)據(jù)源和人工智能模型。

為人工智能系統(tǒng)創(chuàng)建明確的可信和不可信區(qū)域至關(guān)重要：可信區(qū)域應(yīng)該存放關(guān)鍵的人工智能模型和敏感數(shù)據(jù)，并實(shí)施嚴(yán)格的訪問(wèn)控制和監(jiān)控；不可信區(qū)域可用于初步數(shù)據(jù)處理、實(shí)驗(yàn)性模型或與外部系統(tǒng)的交互。這種分離有助于控制潛在的入侵，并限制受損的Agentic AI系統(tǒng)帶來(lái)的影響。

對(duì)數(shù)據(jù)訪問(wèn)和人工智能系統(tǒng)功能的精細(xì)控制也很重要。這不僅僅包括傳統(tǒng)的基于角色的訪問(wèn)控制，還包括能夠根據(jù)實(shí)時(shí)風(fēng)險(xiǎn)評(píng)估進(jìn)行調(diào)整的上下文感知訪問(wèn)策略。確保Agentic AI系統(tǒng)只能訪問(wèn)執(zhí)行特定任務(wù)所需的最少數(shù)據(jù)，并且它們的功能應(yīng)該被嚴(yán)格定義和監(jiān)控。

鑒于Agentic AI系統(tǒng)的自主性質(zhì)，維護(hù)全面和不可變的人工智能活動(dòng)審計(jì)跟蹤很有必要。這些審計(jì)跟蹤不僅要記錄AI Agent采取的行動(dòng)，還要記錄導(dǎo)致這些行動(dòng)的決策過(guò)程和數(shù)據(jù)輸入。這種透明度對(duì)于問(wèn)責(zé)制、故障排除和合規(guī)性都非常重要。

總而言之，隨著Agentic AI 浪潮襲擊全球組織，并逐漸嵌入越來(lái)越多的業(yè)務(wù)流程中，其出現(xiàn)問(wèn)題的風(fēng)險(xiǎn)只會(huì)與日俱增。我們要提前應(yīng)對(duì)這種風(fēng)險(xiǎn)，而不是等到它升級(jí)到對(duì)業(yè)務(wù)可能造成重大破壞時(shí)再來(lái)考慮對(duì)策。