arXiv論文“CARLA-GEAR: A Dataset Generator for a Systematic Evaluation of Adversarial Robustness of Vision Models“，22年6月，意大利。

本文介紹CARLA-GEAR，這是一種自動生成照片真實感合成數(shù)據(jù)集的工具，可用于系統(tǒng)評估NN對物理對抗patches的對抗魯棒性，比較不同對抗防御/檢測方法的性能。該工具構(gòu)建在CARLA模擬器上，用Python API在自動駕駛環(huán)境中為多個視覺任務(wù)生成數(shù)據(jù)集。生成的數(shù)據(jù)集包含的對抗patches貼到廣告牌或卡車后部，并通過最先進(jìn)的白盒（white-box）打擊策略制作，最大限度地提高測試模型的預(yù)測誤差。

最后，本文提出一項實驗研究，評估某些防御方法對此類破壞的性能。所有代碼和數(shù)據(jù)集在http://carlagear.retis.santannapisa.it?.

如圖說明一些代表性駕駛場景：考慮到城市場景中可能會放置對抗性patches（例如，在廣告牌或卡車上）和可選一個對抗性patch，CARLA-GEAR將這個parch附著在選定的表面上，并在場景周圍迭代放置車輛和附加的攝像頭，收集高清RGB圖像和真值標(biāo)簽，還有關(guān)于攝像機內(nèi)外參的附加信息，以及廣告牌在場景中的位置。

該流水線設(shè)計用于生成涉及自主駕駛感知四種不同計算機視覺任務(wù)的數(shù)據(jù)集。每個數(shù)據(jù)集旨在評估CNN的對抗魯棒性和/或在可能存在物理對抗打擊的情況下防御方法的性能。對于每種情況，在可打擊表面的不同距離處迭代生成帶有攝像頭的自車，以及隨機的非表現(xiàn)角色（NPC，即車輛和行人）。該數(shù)據(jù)集由如此收集的RGB圖像和相應(yīng)的真值標(biāo)注組成，對于每個任務(wù)，這些標(biāo)注是不同的。

對抗場景主要是基于patches的真實對抗打擊。該工具考慮兩種不同類型的情況：（i）道路一側(cè)的廣告牌上有一個patch，以及（ii）在攝像機前面的卡車后面安插patch。每個廣告牌位置在yml文件中指定為廣告牌在地圖中的固定位置。同一文件指定了自車和NPC相對于廣告牌的生成位置限制。然后在這些限制內(nèi)隨機生成。這樣，就可以生成同一潛在危險場景的不同視圖。雖然廣告牌有固定的位置，但卡車在地圖中隨機生成，而自車在其后面以不同的隨機距離生成。

如圖是數(shù)據(jù)生成和收集的流水線：

通過迭代3個步驟來構(gòu)建數(shù)據(jù)集：（i）清理任何額外的車輛/行人，（ii）根據(jù)特定情況的生成限制生成自車、其傳感器和隨機NPC，（iii）保存RGB圖像、真值、廣告牌和攝像機姿態(tài)。

實驗結(jié)果如下：（a） 每個任務(wù)的性能與用于優(yōu)化圖像不可知patches的樣本數(shù)有關(guān)。實驗在billboard02上進(jìn)行了十次，每次實驗都更換種子。虛線表示基線性能（隨機patches），而誤差條表示標(biāo)準(zhǔn)偏差。（b） CARLA的不同天氣預(yù)設(shè)對每個任務(wù)的基線性能（隨機patches）和有效性的影響。實驗針對三種不同的情況進(jìn)行，不同的攝像機陽光相對方向。