arXiv論文“Ithaca365: Dataset and Driving Perception under Repeated and Challenging Weather Conditions“，22年8月1日上傳，Cornell和Ohio State兩個(gè)大學(xué)的工作。

近年來，由于采用大規(guī)模數(shù)據(jù)集，自動(dòng)駕駛汽車的感知能力有所提高，這些數(shù)據(jù)集通常在特定位置和良好的天氣條件下收集。然而，為了達(dá)到高安全要求，這些感知系統(tǒng)必須在各種天氣條件下魯棒運(yùn)行，包括雪和雨的情況。

本文提出了一個(gè)實(shí)現(xiàn)魯棒自主駕駛的數(shù)據(jù)集，采用一個(gè)新數(shù)據(jù)收集過程，即在不同場(chǎng)景（城市、公路、農(nóng)村、校園）、天氣（雪、雨、太陽）、時(shí)間（白天/晚上）和交通條件（行人、自行車手和汽車）下，沿著15公里的路線重復(fù)記錄數(shù)據(jù)。

該數(shù)據(jù)集包括來自攝像機(jī)和激光雷達(dá)傳感器的圖像和點(diǎn)云，以及高精度GPS/INS，建立跨路線的對(duì)應(yīng)關(guān)系。該數(shù)據(jù)集包括道路和目標(biāo)標(biāo)注，具有非模態(tài)（amodal）掩碼捕捉的局部遮擋和3-D邊框。

重復(fù)路徑為目標(biāo)發(fā)現(xiàn)、連續(xù)學(xué)習(xí)和異常檢測(cè)開辟了新的研究方向。

Ithaca365鏈接：A new dataset to enable robust autonomous driving via a novel data collection process

如圖是數(shù)據(jù)采集的傳感器配置：

如圖a顯示了路線圖，其中包含在多個(gè)位置捕獲的圖像。駕駛被安排在一天中的不同時(shí)間采集數(shù)據(jù)，包括晚上。在道路清理之前和之后，記錄大雪情況。

數(shù)據(jù)集的一個(gè)關(guān)鍵特色是，在不同的條件下可以觀察到相同的位置；圖b中顯示了一個(gè)示例。

如圖顯示了不同條件下的遍歷解析：

開發(fā)一個(gè)自定義標(biāo)記工具，用于獲取道路和目標(biāo)的非模態(tài)掩碼。對(duì)于不同環(huán)境條件下的道路標(biāo)簽，例如積雪覆蓋的道路，用相同路線的重復(fù)遍歷。具體而言，通過GPS姿態(tài)和激光雷達(dá)數(shù)據(jù)構(gòu)建的點(diǎn)云道路地圖，將“好天氣”的道路標(biāo)簽轉(zhuǎn)換為“惡劣天氣”。

路線/數(shù)據(jù)分為76個(gè)區(qū)間。將點(diǎn)云投影到BEV中，并使用多邊形標(biāo)注器標(biāo)記道路。一旦在BEV中標(biāo)記了道路（生成2-D道路邊界），將多邊形分解為較小的150 m^2多邊形，采用平均高度1.5 m的閾值，多邊形邊界內(nèi)的點(diǎn)做平面擬合來確定道路高度。

用RANSAC和回歸器將平面擬合到這些點(diǎn)；然后用估計(jì)的地平面計(jì)算沿邊界每個(gè)點(diǎn)的高度。將道路點(diǎn)投影到圖像中，并創(chuàng)建深度（depth）掩碼，獲得道路的非模態(tài)標(biāo)簽。將位置與帶有GPS的標(biāo)記地圖匹配，并用ICP優(yōu)化路線，可以將地平面投影到新收集路線的特定位置。

對(duì)ICP解決方案進(jìn)行最終檢查，其方法是驗(yàn)證道路標(biāo)簽的平均投影真值掩碼與相同位置的所有其他真值掩碼符合80% mIOU；如果不符合，則查詢位置數(shù)據(jù)不會(huì)被檢索到。

非模態(tài)目標(biāo)用Scale AI標(biāo)記的六種前景目標(biāo)類別：汽車、公共汽車、卡車（包括貨物、消防車、皮卡、救護(hù)車）、行人、自行車手和摩托車手。

這種標(biāo)記范式有三個(gè)主要組成部分：首先識(shí)別目標(biāo)的可見實(shí)例，然后推斷被遮擋的實(shí)例分割掩碼，最后標(biāo)記每個(gè)目標(biāo)的遮擋順序。在最左側(cè)的前向攝影機(jī)視圖上執(zhí)行標(biāo)記。遵循與KINS（“Amodal instance segmentation with kins dataset“. CVPR，2019）相同的標(biāo)準(zhǔn)。

為了展示數(shù)據(jù)集的環(huán)境多樣性和非模態(tài)質(zhì)量，訓(xùn)練并測(cè)試了兩個(gè)基線網(wǎng)絡(luò)，以在像素級(jí)識(shí)別非模態(tài)道路，即使道路被雪或汽車覆蓋也能工作。第一個(gè)基線網(wǎng)絡(luò)是Semantic Foreground Inpainting（SFI）。第二個(gè)基線，如圖所示，采用以下三個(gè)創(chuàng)新改進(jìn)SFI。

1. 位置和通道注意：因?yàn)榉悄B(tài)分割主要推斷什么是不可見的，所以上下文是一個(gè)非常重要的線索。DAN（“Dual attention network for scene segmentation“，CVPR‘2019）引入了兩項(xiàng)創(chuàng)新，捕捉兩種不同的背景。位置注意模塊（PAM）使用像素特征關(guān)注圖像的其他像素，實(shí)際上從圖像的其他部分捕獲上下文。通道注意模塊（CAM）使用類似的注意機(jī)制，有效地聚集通道的信息。這里在主干特征提取器上應(yīng)用這兩個(gè)模塊。結(jié)合CAM和PAM更好地定位精細(xì)掩碼邊界。通過上采樣層獲得最終前景實(shí)例掩碼。
2. 混合池化作修補(bǔ)（inpainting）：最大池化作為修補(bǔ)操作，將重疊的前景特征替換為附近的背景特征，幫助恢復(fù)非模態(tài)道路特征。然而，由于背景特征通常是平滑分布的，因此最大池化操作對(duì)添加的任何噪聲非常敏感。相反，平均池化操作可以自然地減輕噪聲。為此，結(jié)合平均池化和最大池化進(jìn)行修補(bǔ)，稱之為混合池化（Mixture Pooling）。
3. 求和運(yùn)算：在最后上采樣層之前，不直接傳遞來自混合池化模塊的特征，而是包含來自PAM模塊輸出的殘余鏈接。通過在道路分割分支中聯(lián)合優(yōu)化兩個(gè)特征圖，PAM模塊還可以學(xué)習(xí)遮擋區(qū)域的背景特征。這可以帶來更準(zhǔn)確地恢復(fù)背景特征。

如圖是PAM和CAM的架構(gòu)圖：

混合池化做修補(bǔ)的算法偽代碼如下所示：

非模態(tài)道路分割的訓(xùn)練和測(cè)試代碼如下：https://github?. com/coolgrasshopper/amodal_road_segmentation

實(shí)驗(yàn)結(jié)果如下：