隨著GPT-4o與Qwen-VL等模型的視覺理解和多模態(tài)生成能力逐漸打破眾人認(rèn)知，大型視覺語言模型（LVLMs）正以前所未有的速度重塑AI世界，這些能夠理解視覺信息并生成自然語言響應(yīng)的智能系統(tǒng)，已在醫(yī)療診斷、自動駕駛、金融風(fēng)控等關(guān)鍵領(lǐng)域嶄露頭角。

然而，當(dāng)研究者僅用幾百美元就能突破頂級模型的安全防線、簡單的對抗噪聲圖片就能讓模型輸出危險(xiǎn)內(nèi)容，我們是否該感到擔(dān)心？

近期，武漢大學(xué)、中國科學(xué)技術(shù)大學(xué)和南洋理工大學(xué)的研究團(tuán)隊(duì)發(fā)布了一篇綜述，系統(tǒng)性總結(jié)了LVLMs在安全性上的挑戰(zhàn)，并提出了全面而系統(tǒng)的安全分類框架。

論文地址：https://arxiv.org/abs/2502.14881

項(xiàng)目主頁：https://github.com/XuankunRong/Awesome-LVLM-Safety

與以往的零散研究不同，研究人員深入分析了LVLM安全性的各個(gè)方面，涵蓋了從攻擊策略到防御機(jī)制，再到評估方法的全面內(nèi)容。

通過細(xì)致探討LVLM模型在訓(xùn)練和推理不同階段面臨的具體安全問題，該論文不僅提供了全面的安全態(tài)勢分析，還詳細(xì)介紹了針對各類安全風(fēng)險(xiǎn)的有效應(yīng)對措施，為提升LVLM安全性和魯棒性提供了系統(tǒng)性的指導(dǎo)和參考。

突破孤立分析的困境，統(tǒng)一攻擊-防御-評估的總體框架

論文指出，許多現(xiàn)有研究僅聚焦于LVLM的攻擊或防御的某一方面，這種孤立的分析方法無法全面揭示LVLM的安全性，導(dǎo)致對整體安全態(tài)勢的理解不夠深入。盡管一些研究試圖同時(shí)討論LLM和LVLM的安全問題，但未能充分關(guān)注LVLM所面臨的獨(dú)特挑戰(zhàn)，泛泛而談。

為此，研究人員提出了一種系統(tǒng)化的分析方法，整合了攻擊、防御和評估這三個(gè)密切相關(guān)的領(lǐng)域，從而全面揭示LVLM固有的漏洞及其潛在的緩解策略。

通過整合領(lǐng)域內(nèi)最全面的相關(guān)研究，論文提供了更加深入和系統(tǒng)的LVLM安全性分析，涵蓋了多個(gè)維度的安全問題，填補(bǔ)了現(xiàn)有研究的空白，推動了該領(lǐng)域的進(jìn)一步發(fā)展。

圖1. 論文整體結(jié)構(gòu)

此外，論文還基于LVLM生命周期的不同階段（訓(xùn)練和推理）對相關(guān)研究進(jìn)行了詳細(xì)分類，從而提供了更加細(xì)致的分析，該分類方法能夠更清晰地揭示每個(gè)階段所面臨的獨(dú)特安全挑戰(zhàn)，因?yàn)橛?xùn)練階段和推理階段的安全問題本質(zhì)上有所不同。

訓(xùn)練階段主要涉及模型學(xué)習(xí)過程中的數(shù)據(jù)安全性問題，而推理階段則側(cè)重于模型實(shí)際應(yīng)用中的安全風(fēng)險(xiǎn)，通過分析生命周期中不同階段的安全策略，研究者們能夠更有針對性地識別和應(yīng)對不同階段的潛在威脅。

例如，在推理階段，攻擊可分為白盒攻擊、灰盒攻擊和黑盒攻擊（如圖2所示）。

圖2. 白盒、灰盒、黑盒攻擊介紹

白盒攻擊假設(shè)攻擊者能夠完全訪問模型的內(nèi)部結(jié)構(gòu)、參數(shù)和梯度信息，從而精準(zhǔn)操控模型行為；灰盒攻擊則設(shè)定攻擊者對模型架構(gòu)有所了解，并通過構(gòu)建替代模型生成惡意輸入；而黑盒攻擊則假設(shè)攻擊者只能通過輸入輸出對與模型交互，完全無法獲取任何內(nèi)部信息，模擬了現(xiàn)實(shí)世界中更具挑戰(zhàn)性的攻擊情境。

Janus-Pro的安全性測評

除了對現(xiàn)有工作進(jìn)行歸納，研究人員同時(shí)對DeepSeek最新發(fā)布的統(tǒng)一多模態(tài)大模型：Janus-Pro進(jìn)行了安全性評估。

通過在SIUO以及MM-SafetyBench上進(jìn)行測試，結(jié)果表示，盡管Janus-Pro在多模態(tài)理解能力上取得了令人印象深刻的成績，但其安全性表現(xiàn)仍然是一個(gè)顯著的限制。在多個(gè)基準(zhǔn)測試中，Janus-Pro未能達(dá)到大多數(shù)其他模型的基本安全能力。

圖3. Evaluation on SIUO

圖4. Evaluation on MM-SafetyBench

研究人員推測，這一短板可能與模型架構(gòu)本身的設(shè)計(jì)有關(guān)：該架構(gòu)的主要目標(biāo)是同時(shí)處理多模態(tài)理解和圖片生成任務(wù)，可能導(dǎo)致其在設(shè)計(jì)時(shí)未能充分考慮和優(yōu)化專門的安全機(jī)制。

此外，Janus-Pro可能沒有經(jīng)過專門的安全性訓(xùn)練，缺乏針對這些特定問題的預(yù)防措施和應(yīng)對策略，從而導(dǎo)致其在識別、緩解和防范有害輸入方面的能力相對有限?？紤]到安全性在多模態(tài)模型實(shí)際應(yīng)用中的至關(guān)重要性，顯然Janus-Pro的安全性亟需大幅提升。

為增強(qiáng)Janus-Pro在高風(fēng)險(xiǎn)任務(wù)和復(fù)雜場景中的有效性，必須進(jìn)一步優(yōu)化其架構(gòu)與訓(xùn)練方法，特別是加強(qiáng)對安全性和對抗性魯棒性的關(guān)注，以確保其在面對挑戰(zhàn)時(shí)能夠提供更加可靠的防護(hù)。

未來研究趨勢

研究人員認(rèn)為，未來LVLM安全性研究將集中于幾個(gè)關(guān)鍵領(lǐng)域。

首先，黑盒攻擊的相關(guān)研究將逐步增多，黑盒攻擊方法不依賴于對模型內(nèi)部結(jié)構(gòu)的訪問，而是通過利用LVLM固有的能力，如光學(xué)字符識別（OCR）、邏輯推理等，從而提升攻擊的可轉(zhuǎn)移性和資源效率；

其次，跨模態(tài)安全對齊的研究將成為重要課題，考慮到視覺和文本輸入的組合可能導(dǎo)致不安全輸出，亟需在安全性設(shè)計(jì)中加強(qiáng)視覺與語言模態(tài)的協(xié)同，以避免潛在的風(fēng)險(xiǎn)；

第三，安全微調(diào)技術(shù)的多樣化，特別是通過人類反饋強(qiáng)化學(xué)習(xí)（RLHF）和對抗訓(xùn)練等方法，將有助于在保持模型高效性能的同時(shí)顯著提升其安全性。

最后，發(fā)展統(tǒng)一的策略基準(zhǔn)框架將成為研究的重點(diǎn)，通過該框架能夠更加有效地比較不同攻擊與防御策略的優(yōu)缺點(diǎn)，推動更強(qiáng)大且高效的解決方案，從而確保LVLM在實(shí)際應(yīng)用中的安全性與魯棒性。