近年來(lái)，針對(duì)視覺(jué)感知系統(tǒng)安全性評(píng)估的探索逐步深入，先后有研究者成功實(shí)現(xiàn)基于眼鏡、貼紙、衣服等不同載體的可見(jiàn)光模態(tài)安全評(píng)估技術(shù)，也有一些針對(duì)紅外模態(tài)的新嘗試。但是它們都只能作用于單一模態(tài)。

隨著人工智能技術(shù)的發(fā)展，可見(jiàn)光 - 熱紅外成像技術(shù)已同時(shí)應(yīng)用于治安監(jiān)控、自動(dòng)駕駛等諸多安全關(guān)鍵任務(wù)中，其中可見(jiàn)光成像可以在白天提供豐富的紋理信息，紅外成像則可以在夜間清晰顯示目標(biāo)的熱輻射分布，二者結(jié)合更為視覺(jué)感知系統(tǒng)帶來(lái) 24 小時(shí)全覆蓋和不受環(huán)境局限等諸多優(yōu)勢(shì)。因此，針對(duì)多模態(tài)視覺(jué)感知系統(tǒng)的統(tǒng)一安全評(píng)估方法也亟須研究。

然而，實(shí)現(xiàn)多模態(tài)評(píng)估極具挑戰(zhàn)性。首先，在不同成像機(jī)制下打擊方法通用難。以前的方法都分別基于特定目標(biāo)模態(tài)成像特點(diǎn)提出，在其他模態(tài)下很難起到作用。再者，平衡隱身性能、制作成本和靈活應(yīng)用難。對(duì)于可見(jiàn)光和更難的紅外模態(tài)雙重有效已是不易，實(shí)現(xiàn)低成本便捷制作與使用更是難上加難。

面對(duì)諸多挑戰(zhàn)，來(lái)自北航人工智能研究院的研究者挖掘可見(jiàn)光 - 紅外模態(tài)間通用的形狀屬性，創(chuàng)新性地提出 「跨模態(tài)通用對(duì)抗補(bǔ)丁」，實(shí)現(xiàn)可見(jiàn)光 - 紅外同步隱身。其遴選易獲取、成本低、隔熱性能優(yōu)異的材料制作便捷貼片，即拆即用，在填補(bǔ)當(dāng)前物理世界可見(jiàn)光 - 紅外多模態(tài)檢測(cè)系統(tǒng)魯棒性評(píng)估技術(shù)缺失的同時(shí)，兼顧物理實(shí)現(xiàn)的簡(jiǎn)易性與即時(shí)性。實(shí)驗(yàn)證明了該方法在不同檢測(cè)模型與模態(tài)下的有效性，以及多場(chǎng)景下的泛化性。目前，該論文已被 ICCV 2023 接收。

論文鏈接：https://arxiv.org/abs/2307.07859

代碼鏈接：https://github.com/Aries-iai/Cross-modal_Patch_Attack

技術(shù)要點(diǎn)

該研究以進(jìn)化算法為基礎(chǔ)框架，立足形狀建模、形狀優(yōu)化、模態(tài)平衡三個(gè)角度進(jìn)行方案設(shè)計(jì)與效果改進(jìn)，具體流程如圖所示：

1. 基于樣條插值的多錨點(diǎn)形狀建模

對(duì)于基礎(chǔ)形狀建模部分，研究人員設(shè)計(jì)點(diǎn)優(yōu)化建模新范式，其可通過(guò)改變點(diǎn)坐標(biāo)直接調(diào)整補(bǔ)丁形狀，此過(guò)程中錨點(diǎn)的運(yùn)動(dòng)不會(huì)受方向、距離等限制，有效增大了補(bǔ)丁形狀的搜索空間。在此基礎(chǔ)上，為了確保形狀自然性，其還利用樣條插值方法實(shí)現(xiàn)平滑連接，樣條會(huì)更緊密地跟隨控制點(diǎn)。

2. 基于差分進(jìn)化的邊界限定形狀優(yōu)化算法

實(shí)現(xiàn)打擊需要有效的優(yōu)化手段，為此研究人員從時(shí)間成本、實(shí)際效果等角度考量，以進(jìn)化算法作為基本框架，并從邊界設(shè)定、適應(yīng)度函數(shù)兩個(gè)角度改進(jìn)：

（1）邊界設(shè)定：針對(duì)錨點(diǎn)進(jìn)行邊界設(shè)定提高形變有效性，降低時(shí)間成本。其具有以下設(shè)定：不會(huì)在曲線段內(nèi)形成循環(huán)或自交；在曲線段內(nèi)不容易出現(xiàn)尖點(diǎn)；不會(huì)出現(xiàn)在無(wú)效區(qū)域。 

以錨點(diǎn)為例，下圖藍(lán)色部分為邊界設(shè)定圖例，橙色部分為錯(cuò)誤實(shí)例：

關(guān)于錨點(diǎn)的邊界判定  數(shù)學(xué)表達(dá)如下所示：

（2）適應(yīng)度函數(shù)：不同于前人工作僅針對(duì)于單個(gè)模態(tài)進(jìn)行打擊評(píng)估，本文工作聚焦于可見(jiàn)光 - 紅外兩個(gè)模態(tài)，天然存在平衡模態(tài)效果差異的問(wèn)題。因此為了避免走向易優(yōu)化單一模態(tài)極端，研究人員創(chuàng)新性提出了基于檢測(cè)器置信度得分感知的跨模態(tài)適應(yīng)度函數(shù)，鼓勵(lì)探索成功方向的同時(shí)平衡兩模態(tài)效果差異，最后根據(jù)評(píng)分優(yōu)勝劣汰。考慮到初始階段和后期階段打擊難度的不同，其使用指數(shù)函數(shù)代替線性函數(shù)，更加突出不同階段打擊進(jìn)度的差異性。

算法迭代該探索過(guò)程直至兩模態(tài)都打擊成功，輸出最優(yōu)形狀策略。完整優(yōu)化流程如下所示：

實(shí)驗(yàn)結(jié)果

實(shí)驗(yàn)一：針對(duì)不同系列檢測(cè)器的跨模態(tài)打擊性能驗(yàn)證

實(shí)驗(yàn)二：針對(duì)形狀的消融實(shí)驗(yàn)

實(shí)驗(yàn)三：針對(duì)跨模態(tài)適應(yīng)度函數(shù)的消融實(shí)驗(yàn)

實(shí)驗(yàn)四：物理實(shí)施偏差下的方法魯棒性驗(yàn)證

實(shí)驗(yàn)五：不同物理?xiàng)l件下的方法有效性驗(yàn)證

不同角度、距離、姿勢(shì)、場(chǎng)景下的性能驗(yàn)證可視化結(jié)果

總結(jié)

本文工作以自然形狀優(yōu)化為核心，將形變補(bǔ)丁與跨模態(tài)打擊相結(jié)合，設(shè)計(jì)了一種物理環(huán)境下可見(jiàn)光 - 紅外多模態(tài)魯棒性評(píng)估方法。該方法可對(duì)多模態(tài)（可見(jiàn)光 - 紅外）目標(biāo)檢測(cè)系統(tǒng)的魯棒性進(jìn)行評(píng)估，根據(jù)評(píng)估結(jié)果有效修正檢測(cè)器模型，同時(shí)提高可見(jiàn)光、紅外兩種模態(tài)下目標(biāo)圖像檢測(cè)的準(zhǔn)確性，在物理環(huán)境下做到真正的可實(shí)施、可應(yīng)用，為多模態(tài)檢測(cè)系統(tǒng)的魯棒性評(píng)估與改進(jìn)作出貢獻(xiàn)。