雖然我不習(xí)慣把研究作為博客的素材，但我確實(shí)注意到以下情況：Vulcan Cyber的Voyager18研究團(tuán)隊(duì)最近發(fā)布了一份咨詢報(bào)告驗(yàn)證了生成性人工智能，如ChatGPT，將迅速變成一種武器，并準(zhǔn)備攻擊你附近的云端系統(tǒng)。大多數(shù)云計(jì)算業(yè)內(nèi)人士都在等待這一刻。
新的攻擊方式
一種使用OpenAI語(yǔ)言模型ChatGPT的新的攻擊技術(shù)已經(jīng)出現(xiàn)，攻擊者正在開發(fā)者的環(huán)境中傳播惡意軟件包。專家們看到ChatGPT生成了不存在的URL、引用、代碼庫(kù)和函數(shù)。根據(jù)該報(bào)告，這些“幻覺(jué)”可能來(lái)自舊的訓(xùn)練數(shù)據(jù)。通過(guò)ChatGPT的代碼生成能力，攻擊者可以利用捏造的代碼庫(kù)（包）進(jìn)行惡意傳播，也繞過(guò)了傳統(tǒng)的方法，如tynosquatting。
搶注域名（Typosquatting），也稱為URL劫持或域名模仿，是指?jìng)€(gè)人或組織注冊(cè)類似于流行或合法網(wǎng)站的域名，但有輕微排版錯(cuò)誤的做法。其目的是欺騙那些在輸入U(xiǎn)RL時(shí)出現(xiàn)同樣錯(cuò)字的用戶。
另一種攻擊是向ChatGPT提出一個(gè)問(wèn)題，要求用一個(gè)軟件包來(lái)解決一個(gè)特定的編碼問(wèn)題，然后收到多個(gè)包的推薦，其中包括一些沒(méi)有在合法存儲(chǔ)庫(kù)中發(fā)布的包。通過(guò)用惡意軟件包替換這些不存在的軟件包，攻擊者可以欺騙未來(lái)依賴ChatGPT推薦的用戶。一個(gè)利用ChatGPT 3.5的概念證明了潛在的風(fēng)險(xiǎn)。
當(dāng)然，有一些方法可以抵御這種類型的攻擊。開發(fā)人員應(yīng)該通過(guò)檢查創(chuàng)建日期和下載次數(shù)來(lái)仔細(xì)審查代碼庫(kù)。然而，既然我們處理了這種威脅，我們將永遠(yuǎn)對(duì)可疑的軟件包持懷疑態(tài)度。
應(yīng)對(duì)新的威脅
這個(gè)標(biāo)題并不是說(shuō)這種新威脅目前就存在，筆者認(rèn)為由生成式人工智能力量驅(qū)動(dòng)的新威脅出現(xiàn)只是時(shí)間問(wèn)題。因此，必須有一些更好的方法來(lái)對(duì)抗這些類型的威脅，隨著有心人學(xué)會(huì)將生成式人工智能作為武器，這些威脅可能會(huì)變得更加普遍。
如果我們希望保持領(lǐng)先，我們不得不需要將生成式人工智能作為一種防御機(jī)制。這意味著從被動(dòng)反應(yīng)（現(xiàn)如今較為典型的企業(yè)方法）轉(zhuǎn)變?yōu)橹鲃?dòng)使用可觀察性和AI驅(qū)動(dòng)的安全系統(tǒng)等策略。
在AI技術(shù)飛速發(fā)展的情況下，企業(yè)面臨的挑戰(zhàn)往往是云安全問(wèn)題，以及devsecops專業(yè)人員必須加強(qiáng)他們的程序，以便不受24小時(shí)新聞周期的影響。這意味著企業(yè)需要在許多IT預(yù)算被縮減的時(shí)候，增加對(duì)安全的投資。如果沒(méi)有積極應(yīng)對(duì)這些新出現(xiàn)的風(fēng)險(xiǎn)，企業(yè)可能不得不對(duì)重大漏洞的成本和影響付出代價(jià)。
當(dāng)然，安全專家的工作就是嚇唬人，讓企業(yè)在安全方面多花點(diǎn)錢，否則很可能發(fā)生比較嚴(yán)重的情況。考慮到戰(zhàn)場(chǎng)性質(zhì)的變化和幾乎免費(fèi)的有效攻擊工具的可用性，企業(yè)的安全境地就有點(diǎn)嚴(yán)峻了。，當(dāng)我們了解到事情會(huì)有多糟糕時(shí)，Vulcan報(bào)告中提到的惡意人工智能包的幻覺(jué)也許是我在這里要介紹的第一順位。
有一線希望是，在大多數(shù)情況下，盡管有一些奇怪的大漏洞，云安全和IT安全專家比攻擊者更聰明，并且在過(guò)去幾年里一直保持著技術(shù)領(lǐng)先。但是，如果攻擊者不會(huì)變得更聰明，他們就不必更有創(chuàng)新性，而且了解如何將生成式人工智能付諸行動(dòng)以攻破高度防御的系統(tǒng)將成為新的游戲。你準(zhǔn)備好了嗎？
原文標(biāo)題：Malicious hackers are weaponizing generative AI
原文作者：David Linthicum
