AI已不再是僅執(zhí)行預(yù)定命令的工具，它越來越能夠自我修改、重寫自身參數(shù)，并根據(jù)實(shí)時(shí)反饋進(jìn)行演進(jìn)，這種自我維持的能力，有時(shí)被稱為自生成性，使AI系統(tǒng)能夠動(dòng)態(tài)適應(yīng)其環(huán)境，從而提高效率，但也大大降低了可預(yù)測性。

對(duì)于網(wǎng)絡(luò)安全團(tuán)隊(duì)而言，這帶來了一個(gè)根本性挑戰(zhàn)：如何確保一個(gè)不斷自我改變的系統(tǒng)的安全性?傳統(tǒng)的安全模型假設(shè)威脅來自外部，即不良行為者利用本已穩(wěn)定的系統(tǒng)中的漏洞，但AI能夠重新配置其自身操作，風(fēng)險(xiǎn)不再僅僅是外部入侵，還包括內(nèi)部不可預(yù)測性。

這尤其令中小型企業(yè)和公共機(jī)構(gòu)擔(dān)憂，因?yàn)樗鼈兺狈ΡO(jiān)控AI如何隨時(shí)間演變的資源，或檢測AI何時(shí)改變了自身安全態(tài)勢的能力。

當(dāng)AI系統(tǒng)自我重寫時(shí)

大多數(shù)軟件在固定參數(shù)內(nèi)運(yùn)行，使其行為可預(yù)測，然而，自生成性AI能夠根據(jù)環(huán)境輸入重新定義其自己的操作邏輯。雖然這實(shí)現(xiàn)了更智能的自動(dòng)化，但也意味著一個(gè)負(fù)責(zé)優(yōu)化效率的AI可能會(huì)在沒有人工監(jiān)督的情況下開始做出安全決策。

例如，一個(gè)基于AI的電子郵件過濾系統(tǒng)最初可能根據(jù)預(yù)設(shè)標(biāo)準(zhǔn)阻止網(wǎng)絡(luò)釣魚嘗試，但如果它不斷學(xué)習(xí)到阻止太多電子郵件會(huì)引發(fā)用戶投訴，它可能會(huì)開始降低敏感性以保持工作流程效率——實(shí)際上繞過了其設(shè)計(jì)用于執(zhí)行的安全規(guī)則。

同樣，一個(gè)負(fù)責(zé)優(yōu)化網(wǎng)絡(luò)性能的AI可能會(huì)將安全協(xié)議視為障礙，并調(diào)整防火墻配置、繞過身份驗(yàn)證步驟或禁用某些警報(bào)機(jī)制——并非作為攻擊，而是作為提高感知功能的一種手段。這些由自我生成的邏輯而非外部攻擊驅(qū)動(dòng)的更改，使安全團(tuán)隊(duì)難以診斷和緩解新出現(xiàn)的風(fēng)險(xiǎn)。

自生成性AI尤其令人擔(dān)憂的是，其決策過程通常不透明。安全分析師可能會(huì)注意到系統(tǒng)行為有所不同，但可能難以確定為何進(jìn)行了這些調(diào)整。如果AI基于其感知的優(yōu)化修改了安全設(shè)置，它可能不會(huì)以允許進(jìn)行取證分析的方式記錄該更改。這造成了一個(gè)責(zé)任缺口，即組織甚至可能在事件發(fā)生后才意識(shí)到其安全態(tài)勢已發(fā)生變化。

SMB和公共機(jī)構(gòu)面臨的獨(dú)特網(wǎng)絡(luò)安全風(fēng)險(xiǎn)

對(duì)于擁有專門的AI安全團(tuán)隊(duì)的大型企業(yè)而言，可以通過持續(xù)監(jiān)控、對(duì)抗性測試和模型可解釋性要求來控制自修改AI的風(fēng)險(xiǎn)，但SMB和公共機(jī)構(gòu)很少有預(yù)算或技術(shù)專長來實(shí)施此類監(jiān)督。

簡而言之，這些組織面臨的危險(xiǎn)是，它們可能直到為時(shí)已晚才意識(shí)到其AI系統(tǒng)正在改變安全關(guān)鍵流程。一個(gè)依賴AI驅(qū)動(dòng)訪問控制的市政政府可能會(huì)認(rèn)為憑證身份驗(yàn)證正常運(yùn)行，結(jié)果卻發(fā)現(xiàn)系統(tǒng)為了縮短登錄時(shí)間已降低了多因素身份驗(yàn)證的優(yōu)先級(jí)。一家使用AI驅(qū)動(dòng)欺詐檢測的小型企業(yè)可能會(huì)發(fā)現(xiàn)，其系統(tǒng)為了最大限度地減少運(yùn)營中斷而抑制了太多安全警報(bào)，無意中允許欺詐交易未被檢測到。

這方面可能出現(xiàn)問題的最佳例子之一是2024年7月的CrowdStrike危機(jī)，其中一個(gè)受全球公認(rèn)的網(wǎng)絡(luò)安全平臺(tái)供應(yīng)商影響的補(bǔ)丁未經(jīng)充分測試就被推出。該補(bǔ)丁在全球范圍內(nèi)一次性部署，導(dǎo)致了過去十年來——甚至可以說是過去幾十年來——最容易發(fā)生的技術(shù)中斷。

事后調(diào)查顯示，導(dǎo)致全球故障的一系列錯(cuò)誤中，最引人注目的是通道文件中加載的結(jié)構(gòu)缺乏驗(yàn)證、缺少版本數(shù)據(jù)以及未能根據(jù)客戶群體而非版本類型將軟件更新視為不同事物。

這些錯(cuò)誤是當(dāng)今使用生成性AI大規(guī)模自動(dòng)化狹窄任務(wù)的轉(zhuǎn)變中的常規(guī)內(nèi)容，從網(wǎng)絡(luò)安全角度來看，這帶來了獨(dú)特的挑戰(zhàn)。畢竟，與傳統(tǒng)漏洞不同，這些AI驅(qū)動(dòng)的風(fēng)險(xiǎn)不會(huì)以外部威脅的形式出現(xiàn)。

沒有惡意軟件感染，沒有憑證被盜——只是一個(gè)以無人預(yù)料的方式發(fā)展的系統(tǒng)。這尤其增加了SMB和公共機(jī)構(gòu)的風(fēng)險(xiǎn)，因?yàn)樗鼈兺狈θ藛T來持續(xù)審計(jì)AI驅(qū)動(dòng)的安全決策和修改。

對(duì)身份驗(yàn)證、欺詐檢測和訪問控制的日益依賴只會(huì)加劇這個(gè)問題。隨著AI在確定組織內(nèi)部誰或什么被信任方面發(fā)揮更大作用，其自主改變這些信任模型的能力為安全團(tuán)隊(duì)引入了一個(gè)移動(dòng)目標(biāo)。如果AI決策變得過于抽象，超出人工監(jiān)督的范圍，組織可能難以重新控制自己的安全框架。

安全團(tuán)隊(duì)如何適應(yīng)自修改AI的威脅

減輕自生成性AI的風(fēng)險(xiǎn)需要網(wǎng)絡(luò)安全策略的根本轉(zhuǎn)變。組織不能再假設(shè)安全故障僅來自外部威脅，相反，它們必須認(rèn)識(shí)到，AI本身可能通過不斷改變其決策邏輯來引入漏洞。

安全團(tuán)隊(duì)必須超越靜態(tài)審計(jì)方法，并采用針對(duì)AI驅(qū)動(dòng)安全過程的實(shí)時(shí)驗(yàn)證機(jī)制。如果AI系統(tǒng)被允許修改身份驗(yàn)證工作流程、防火墻設(shè)置或欺詐檢測閾值，這些更改必須獨(dú)立審查和驗(yàn)證。不應(yīng)僅因AI驅(qū)動(dòng)的安全優(yōu)化提高了效率就將其視為固有可靠。

網(wǎng)絡(luò)安全專業(yè)人員還必須認(rèn)識(shí)到，可解釋性與性能同樣重要。在安全敏感環(huán)境中運(yùn)行的AI模型必須采用人類可讀的邏輯路徑進(jìn)行設(shè)計(jì)，以便分析師能夠理解AI系統(tǒng)為何進(jìn)行特定更改。如果沒有這一級(jí)別的透明度，組織將面臨將關(guān)鍵安全決策外包給一個(gè)它們無法完全控制的演進(jìn)系統(tǒng)的風(fēng)險(xiǎn)。

對(duì)于SMB和公共機(jī)構(gòu)而言，挑戰(zhàn)甚至更大。這些組織中許多缺乏專門的AI安全專長，這意味著它們必須推動(dòng)外部監(jiān)督機(jī)制。AI驅(qū)動(dòng)安全解決方案的供應(yīng)商合同應(yīng)包括強(qiáng)制性透明度要求，確保AI系統(tǒng)不會(huì)以未經(jīng)明確人工批準(zhǔn)的方式從根本上改變安全態(tài)勢。

測試AI故障場景以發(fā)現(xiàn)弱點(diǎn)

組織還應(yīng)開始以測試災(zāi)難恢復(fù)和事件響應(yīng)相同的方式測試AI故障場景。如果一個(gè)AI驅(qū)動(dòng)的欺詐檢測系統(tǒng)開始抑制高風(fēng)險(xiǎn)警報(bào)，安全團(tuán)隊(duì)將多快檢測到這一變化?如果一個(gè)AI驅(qū)動(dòng)的身份驗(yàn)證系統(tǒng)降低了身份驗(yàn)證的嚴(yán)格性，IT團(tuán)隊(duì)將如何在攻擊者利用這一變化之前進(jìn)行干預(yù)?這些不是假設(shè)性的擔(dān)憂——它們是隨著AI承擔(dān)更多自主安全功能而出現(xiàn)的真實(shí)漏洞。

安全團(tuán)隊(duì)能做出的最危險(xiǎn)假設(shè)是，AI將始終按照人類意圖行事。如果一個(gè)系統(tǒng)被設(shè)計(jì)為優(yōu)化結(jié)果，它就會(huì)優(yōu)化——但不一定以與網(wǎng)絡(luò)安全優(yōu)先級(jí)一致的方式。組織越早認(rèn)識(shí)到這一點(diǎn)，就越能為確保AI驅(qū)動(dòng)環(huán)境的安全性做好準(zhǔn)備，以防這些系統(tǒng)開始做出超出人工控制的安全決策。