CRAS-YOLO：多類別船舶檢測(cè)與分類模型

作者：計(jì)算機(jī)視覺研究院 2024-07-11 12:30:00

目前，基于衛(wèi)星圖像的多類別船舶檢測(cè)和分類由于在軍事和民用領(lǐng)域的重要應(yīng)用而備受關(guān)注。

本文經(jīng)計(jì)算機(jī)視覺研究院公眾號(hào)授權(quán)轉(zhuǎn)載，轉(zhuǎn)載請(qǐng)聯(lián)系出處。

01 前景概要

在今天分享中，我們團(tuán)隊(duì)在FUSAR船舶數(shù)據(jù)集和SimpleCopyPaste方法的基礎(chǔ)上生成了一個(gè)新的Artificial-SAR-Vessel數(shù)據(jù)集中。我們進(jìn)一步提出了一種新的多類船檢測(cè)，稱為CRAS-YOLO，它由卷積塊注意力模塊（CBAM）、感受野塊（RFB）和基于YOLOv5s的自適應(yīng)空間特征融合（ASFF）組成。CRAS-YOLO改進(jìn)了基于路徑聚合網(wǎng)絡(luò)（PANet）的特征金字塔網(wǎng)絡(luò)，該網(wǎng)絡(luò)集成了RFB特征增強(qiáng)模塊和ASFF特征融合策略，以獲得更豐富的特征信息，并實(shí)現(xiàn)多尺度特征的自適應(yīng)融合。同時(shí)，在骨干中增加了CBAM，以準(zhǔn)確定位船只位置，提高檢測(cè)能力。

結(jié)果證實(shí)，CRAS-YOLO模型的準(zhǔn)確度、召回率和平均準(zhǔn)確度（mAP）（0.5）分別高達(dá)90.4%、88.6%和92.1%。所提出的模型在另一個(gè)Sar船舶檢測(cè)（SSDD）數(shù)據(jù)集中的精度、召回率和mAP得分分別高達(dá)97.3%、95.5%和98.7%，也優(yōu)于先前的研究結(jié)果。

02 項(xiàng)目背景

如今，深度學(xué)習(xí)已經(jīng)突破了傳統(tǒng)目標(biāo)檢測(cè)算法的瓶頸，成為檢測(cè)的主流算法。深度學(xué)習(xí)方法不需要在SAR圖像中分離海洋和陸地，只需要通過標(biāo)記的數(shù)據(jù)集進(jìn)行訓(xùn)練，在目標(biāo)檢測(cè)方面具有很大的優(yōu)勢(shì)。目前流行的目標(biāo)檢測(cè)算法有兩種類型。一種是基于區(qū)域推薦的兩階段目標(biāo)檢測(cè)算法，其中代表性的方法有基于區(qū)域的卷積神經(jīng)網(wǎng)絡(luò)（R-CNN）、Fast R-CNN和Faster R-CNN。其主要思想是利用選擇性搜索方法來生成建議區(qū)域，然后在建議區(qū)域中進(jìn)行回歸分類。另一種是一階段目標(biāo)檢測(cè)算法，它將檢測(cè)問題簡(jiǎn)化為回歸問題，只需要卷積神經(jīng)網(wǎng)絡(luò)就可以直接獲得目標(biāo)的類概率和位置坐標(biāo)。代表性算法包括YOLO、SSD、Retina-Net等。YOLO系列算法通常比其他算法更快，對(duì)小目標(biāo)檢測(cè)效果良好。它們是經(jīng)典的一階段檢測(cè)方法，通常比其他算法具有更快的識(shí)別速度，并且在小目標(biāo)檢測(cè)中表現(xiàn)出優(yōu)異的檢測(cè)能力。

迄今為止公開發(fā)布的上述SAR船舶探測(cè)數(shù)據(jù)集大多只包含船舶位置數(shù)據(jù)，缺乏船舶類別數(shù)據(jù)。同時(shí)，唯一一個(gè)名為SRSDD的公共多類別船舶檢測(cè)數(shù)據(jù)集存在嚴(yán)重的類別不平衡問題，嚴(yán)重影響了船舶檢測(cè)的準(zhǔn)確性。因此，我們?cè)谘芯恐?，基于FusarShip數(shù)據(jù)集和HAISI-1衛(wèi)星拍攝的海面遠(yuǎn)程合成孔徑雷達(dá)（SAR）圖像的組合，生成了一個(gè)新的數(shù)據(jù)集，稱為Artificial-SAR-Vessel據(jù)集。創(chuàng)新性地將SimpleCopyPaste方法引入到數(shù)據(jù)集的構(gòu)建中，希望對(duì)SAR船舶檢測(cè)數(shù)據(jù)集進(jìn)行補(bǔ)充，為船舶檢測(cè)數(shù)據(jù)缺乏的問題提供新的解決方案。

03 新研究框架介紹

我們研究的CRAS-YOLO是為了在給定SAR圖像的情況下，在精確定位船只位置和提高檢測(cè)能力方面提供高性能而形成的。下圖中的流程圖顯示了所提出的CRAS-YOLO是如何開發(fā)的。

首先，生成了Artificial-SAR-Vessel數(shù)據(jù)集。其次，通過在YOLOv5s網(wǎng)絡(luò)中添加CBAM、RFB和ASFF，形成了所提出的CRAS-YOLO模型。接下來，給出了性能度量，以評(píng)估所提出的模型與其他模型相比的性能。最后，將所開發(fā)的CRAS-YOLO模型應(yīng)用于基于衛(wèi)星圖像的船舶探測(cè)。

在我們的研究中，提出的CRAS-YOLO船舶檢測(cè)和分類模型基于YOLOv5s，通過在PANet（RA PANet）中添加RFB和ASFF來改進(jìn)FPN，以獲得更豐富的特征信息，并實(shí)現(xiàn)多尺度特征的自適應(yīng)融合。擬議的CRAS-YOLO還將CBAM集成到網(wǎng)絡(luò)的頸部。CRAS-YOLO的完整網(wǎng)絡(luò)結(jié)構(gòu)如下圖所示。

注意機(jī)制主要包括空間注意和渠道注意。SE和ECA是渠道關(guān)注機(jī)制的代表。CA是空間注意機(jī)制的代表。CBAM融合了通道和空間注意力機(jī)制，具有良好的性能。我們將CBAM插入頸部結(jié)構(gòu)中，以實(shí)現(xiàn)更有效的特征提取。從下圖中，CBAM通過通道模塊和空間模塊提取特征信息，并使用串行結(jié)構(gòu)融合特征信息。

從下圖中，首先，輸入特征圖通過通道模塊生成通道權(quán)重，并將獲得的權(quán)重與輸入相乘以生成通道圖。接下來，將通道特征圖導(dǎo)入空間模塊以生成空間權(quán)重，并將權(quán)重與導(dǎo)入的特征圖相乘以生成空間圖。最后，將最終的加權(quán)特征圖和原始輸入逐元素相加，得到最終的輸出結(jié)果，詳細(xì)的CBAM結(jié)構(gòu)如圖所示。