根據(jù)最新消息，開源人工智能（AI）和機(jī)器學(xué)習(xí)（ML）模型中已披露了三十幾個(gè)安全漏洞，其中一些漏洞可能導(dǎo)致遠(yuǎn)程代碼執(zhí)行和信息竊取。

在 ChuanhuChatGPT、Lunary 和 LocalAI 等工具中發(fā)現(xiàn)的這些漏洞已作為 Protect AI 的 Huntr 漏洞懸賞平臺(tái)的一部分進(jìn)行了報(bào)告。

其中最嚴(yán)重的漏洞是影響大型語言模型（LLM）生產(chǎn)工具包 Lunary 的兩個(gè)漏洞：CVE-2024-7474 (CVE-2024-7474) 和 CVE-2024-7474（CVE-2024-7474）。

• CVE-2024-7474（CVSS 得分：9.1）：一個(gè)不安全的直接對象引用 (IDOR) 漏洞，可允許已通過身份驗(yàn)證的用戶查看或刪除外部用戶，導(dǎo)致未經(jīng)授權(quán)的數(shù)據(jù)訪問和潛在的數(shù)據(jù)丟失
• CVE-2024-7475 （CVSS 得分：9.1）：訪問控制不當(dāng)漏洞，允許攻擊者更新 SAML 配置，從而有可能以未經(jīng)授權(quán)的用戶身份登錄并訪問敏感信息。

在 Lunary 中還發(fā)現(xiàn)了另一個(gè) IDOR 漏洞（CVE-2024-7473，CVSS 得分：7.5），該漏洞允許惡意行為者通過操縱用戶控制參數(shù)來更新其他用戶的提示。

Protect AI 在一份公告中解釋道 ：攻擊者以用戶 A 的身份登錄并攔截更新提示符的請求，通過將請求中的'id'參數(shù)修改為屬于用戶 B 的提示符的'id'，攻擊者可以在未經(jīng)授權(quán)的情況下更新用戶 B 的提示符。

第三個(gè)嚴(yán)重漏洞涉及 ChuanhuChatGPT 用戶上傳功能中的路徑遍歷漏洞（CVE-2024-5982，CVSS 得分：9.1），該漏洞可能導(dǎo)致任意代碼執(zhí)行、目錄創(chuàng)建和敏感數(shù)據(jù)暴露。

LocalAI是一個(gè)開源項(xiàng)目，允許用戶運(yùn)行自托管的LLM，該項(xiàng)目還發(fā)現(xiàn)了兩個(gè)安全漏洞，可能允許惡意行為者通過上傳惡意配置文件執(zhí)行任意代碼（CVE-2024-6983，CVSS評分：8.8），以及通過分析服務(wù)器的響應(yīng)時(shí)間猜測有效的API密鑰（CVE-2024-7010，CVSS評分：7.5）。

Protect AI 表示，該漏洞允許攻擊者執(zhí)行定時(shí)攻擊，這是一種側(cè)信道攻擊，通過測量處理不同 API 密鑰請求所需的時(shí)間，攻擊者可以逐個(gè)字符推斷出正確的 API 密鑰。

此外，還有一個(gè)影響 Deep Java Library（DJL）的遠(yuǎn)程代碼執(zhí)行漏洞，該漏洞源于軟件包的 untar 函數(shù)中的任意文件覆蓋漏洞（CVE-2024-8396，CVSS 得分：7.8）。

該漏洞可能會(huì)導(dǎo)致代碼執(zhí)行和數(shù)據(jù)篡改。英偉達(dá)在發(fā)布補(bǔ)丁修復(fù)其NeMo生成式人工智能框架中的路徑遍歷漏洞（CVE-2024-0129，CVSS評分：6.3）的同時(shí)，也披露了這一漏洞。建議用戶將其安裝更新到最新版本，以確保其 AI/ML 供應(yīng)鏈的安全并防范潛在攻擊。

漏洞披露之前，Protect AI 還發(fā)布了開源 Python 靜態(tài)代碼分析器 Vulnhuntr，該分析器可利用 LLM 在 Python 代碼庫中查找零日漏洞。

Vulnhuntr 的工作原理是在不影響 LLM 上下文窗口（LLM 在單個(gè)聊天請求中可解析的信息量）的情況下，將代碼分解成小塊，從而標(biāo)記出潛在的安全問題。

Dan McInerney 和 Marcello Salvati 說：它會(huì)自動(dòng)在項(xiàng)目文件中搜索可能最先處理用戶輸入的文件。然后，它會(huì)攝取整個(gè)文件，并回復(fù)所有潛在漏洞。

利用這份潛在漏洞清單，它將繼續(xù)完成從用戶輸入到服務(wù)器輸出的整個(gè)函數(shù)調(diào)用鏈，對整個(gè)項(xiàng)目中的每個(gè)潛在漏洞逐個(gè)函數(shù)/類進(jìn)行分析，直到它對整個(gè)調(diào)用鏈感到滿意，才能進(jìn)行最終分析。

撇開人工智能框架的安全漏洞不談，Mozilla 的 0Day 調(diào)查網(wǎng)絡(luò)（0Din）發(fā)布的一項(xiàng)新越獄技術(shù)發(fā)現(xiàn)，以十六進(jìn)制格式和表情符號(hào)編碼的惡意提示可用于繞過 OpenAI ChatGPT 的防護(hù)措施，并對已知的安全漏洞精心設(shè)計(jì)漏洞利用。

安全研究員馬爾科-菲格羅亞（Marco Figueroa）說：越獄策略利用了語言漏洞，指示模型處理一項(xiàng)看似無害的任務(wù)：十六進(jìn)制轉(zhuǎn)換。由于該模型經(jīng)過優(yōu)化，可以遵循自然語言的指令，包括執(zhí)行編碼或解碼任務(wù)，因此它本質(zhì)上并沒有意識(shí)到轉(zhuǎn)換十六進(jìn)制值可能會(huì)產(chǎn)生有害輸出。

出現(xiàn)這一漏洞的原因是，語言模型被設(shè)計(jì)為按部就班地執(zhí)行指令，但缺乏深入的上下文意識(shí)，無法在其最終目標(biāo)的大背景下評估每個(gè)單獨(dú)步驟的安全性。