AI 幻覺催生新型網(wǎng)絡威脅:Slopsquatting 攻擊
網(wǎng)絡安全研究人員警告稱,由生成式AI(Generative AI)模型推薦不存在依賴項引發(fā)的幻覺現(xiàn)象,正導致一種新型軟件供應鏈攻擊——Slopsquatting(暫譯"AI依賴項劫持")。來自德克薩斯大學圣安東尼奧分校、弗吉尼亞理工大學和俄克拉荷馬大學的研究團隊發(fā)現(xiàn),大型語言模型(LLM,Large Language Model)生成的代碼普遍存在"包幻覺"現(xiàn)象,這正被威脅分子所利用。
AI推薦虛假依賴包成隱患
研究團隊在論文中指出:"Python和JavaScript等流行編程語言對集中式軟件包倉庫和開源軟件的依賴,加上代碼生成LLM的出現(xiàn),為軟件供應鏈帶來了新型威脅——包幻覺。"通過分析包括GPT-4、GPT-3.5、CodeLlama、DeepSeek和Mistral在內(nèi)的16個代碼生成模型,研究人員發(fā)現(xiàn)約五分之一的推薦軟件包為虛假存在。
Socket安全公司分析報告顯示:"如果某個AI工具廣泛推薦一個幻覺軟件包,而攻擊者已注冊該名稱,就可能造成大規(guī)模入侵??紤]到許多開發(fā)者未經(jīng)嚴格驗證就信任AI輸出,這種威脅的潛在影響范圍極大。"
攻擊者利用命名規(guī)律實施劫持
這種攻擊方式被命名為Slopsquatting,由Python軟件基金會(PSF)安全開發(fā)者Seth Larson首次提出,因其與傳統(tǒng)的"typosquatting"(域名搶注)技術相似。不同之處在于,威脅分子不再依賴用戶輸入錯誤,而是利用AI模型的推薦錯誤。
測試樣本顯示,19.7%(20.5萬個)的推薦軟件包為虛假包。開源模型(如DeepSeek和WizardCoder)的幻覺率平均達21.7%,遠高于GPT-4等商業(yè)模型(5.2%)。其中CodeLlama表現(xiàn)最差(超三分之一輸出存在幻覺),GPT-4 Turbo表現(xiàn)最佳(僅3.59%幻覺率)。
持久性幻覺威脅加劇
研究發(fā)現(xiàn)這些包幻覺具有持久性、重復性和可信性三大危險特征。在重復500次先前產(chǎn)生幻覺的提示詞時,43%的幻覺包在連續(xù)10次運行中每次都出現(xiàn),58%的幻覺包出現(xiàn)超過一次。研究表明:"多數(shù)幻覺并非隨機噪聲,而是模型對特定提示的可重復反應模式。"
此外,38%的幻覺包名與真實包存在中度字符串相似性,僅13%屬于簡單拼寫錯誤。Socket指出,這些"語義可信"的命名結構大大增加了識別難度。
防護建議
盡管目前尚未發(fā)現(xiàn)實際攻擊案例,研究團隊建議開發(fā)者在生產(chǎn)環(huán)境和運行時前安裝依賴項掃描工具,以篩查惡意軟件包。OpenAI近期因大幅削減模型測試時間和資源而受到批評,這也被認為是導致AI模型易產(chǎn)生幻覺的原因之一。安全專家強調(diào),倉促的安全測試會顯著增加AI系統(tǒng)的風險暴露面。