目標(biāo)檢測系統(tǒng)的標(biāo)桿 YOLO 系列，再次獲得了重磅升級。

自今年 2 月 YOLOv9 發(fā)布之后， YOLO（You Only Look Once）系列的接力棒傳到了清華大學(xué)研究人員的手上。

上周末，YOLOv10 推出的消息引發(fā)了 AI 界的關(guān)注。它被認(rèn)為是計算機(jī)視覺領(lǐng)域的突破性框架，以實時的端到端目標(biāo)檢測能力而聞名，通過提供結(jié)合效率和準(zhǔn)確性的強(qiáng)大解決方案，延續(xù)了 YOLO 系列的傳統(tǒng)。

論文地址：https://arxiv.org/pdf/2405.14458

項目地址：https://github.com/THU-MIG/yolov10

新版本發(fā)布之后，很多人已經(jīng)進(jìn)行了部署測試，效果不錯：

YOLO 因為性能強(qiáng)大、消耗算力較少，一直以來都是實時目標(biāo)檢測領(lǐng)域的主要范式。該框架被廣泛用于各種實際應(yīng)用，包括自動駕駛、監(jiān)控和物流。其高效、準(zhǔn)確的物體檢測能力使其成為實時識別行人和車輛等任務(wù)的理想選擇；在物流方面，它有助于庫存管理和包裹跟蹤，通過 AI 能力幫助人們在很多工作上提高了效率。

幾年來，研究人員對 YOLO 的架構(gòu)設(shè)計、優(yōu)化目標(biāo)、數(shù)據(jù)增強(qiáng)策略等進(jìn)行了探索，取得了顯著進(jìn)展。然而，后處理對非極大值抑制（NMS）的依賴阻礙了 YOLO 的端到端部署，并對推理延遲產(chǎn)生不利影響。此外，YOLO 中各個組件的設(shè)計缺乏全面徹底的檢查，導(dǎo)致明顯的計算冗余并限制了模型的能力。

YOLOv10 的突破就在于從后處理和模型架構(gòu)方面進(jìn)一步提升了 YOLO 的性能 - 效率邊界。

為此，研究團(tuán)隊首次提出了 YOLO 無 NMS 訓(xùn)練的一致雙重分配（consistent dual assignment），這使得 YOLO 在性能和推理延遲方面有所改進(jìn)。

研究團(tuán)隊為 YOLO 提出了整體效率 - 準(zhǔn)確率驅(qū)動的模型設(shè)計策略，從效率和準(zhǔn)確率兩個角度全面優(yōu)化 YOLO 的各個組件，大大降低了計算開銷并增強(qiáng)了模型能力。

大量實驗表明，YOLOv10 在各種模型規(guī)模上都實現(xiàn)了 SOTA 性能和效率。例如，YOLOv10-S 在 COCO 上的類似 AP 下比 RT-DETR-R18 快 1.8 倍，同時參數(shù)數(shù)量和 FLOP 大幅減少。與 YOLOv9-C 相比，在性能相同的情況下，YOLOv10-B 的延遲減少了 46%，參數(shù)減少了 25%。

方法介紹

為了實現(xiàn)整體效率 - 準(zhǔn)確率驅(qū)動的模型設(shè)計，研究團(tuán)隊從效率、準(zhǔn)確率兩方面分別提出改進(jìn)方法。

為了提高效率，該研究提出了輕量級分類 head、空間通道（spatial-channel）解耦下采樣和排序指導(dǎo)的塊設(shè)計，以減少明顯的計算冗余并實現(xiàn)更高效的架構(gòu)。

為了提高準(zhǔn)確率，研究團(tuán)隊探索了大核卷積并提出了有效的部分自注意力（partial self-attention，PSA）模塊來增強(qiáng)模型能力，在低成本下挖掘性能改進(jìn)的潛力?；谶@些方法，該團(tuán)隊成功實現(xiàn)了一系列不同規(guī)模的實時端到端檢測器，即 YOLOv10-N / S / M / B / L / X。

用于無 NMS 訓(xùn)練的一致雙重分配

在訓(xùn)練期間，YOLO 通常利用 TAL 為每個實例分配多個正樣本。一對多的分配方式產(chǎn)生了豐富的監(jiān)督信號，促進(jìn)了優(yōu)化并使模型實現(xiàn)了卓越的性能。

然而，這需要 YOLO 依賴于 NMS 后處理，這導(dǎo)致了部署時次優(yōu)的推理效率。雖然之前的研究工作探索了一對一匹配來抑制冗余預(yù)測，但它們通常引入了額外的推理開銷。

與一對多分配不同，一對一匹配對每個 ground truth 僅分配一個預(yù)測，避免 NMS 后處理。然而，這會導(dǎo)致弱監(jiān)督，以至于準(zhǔn)確率和收斂速度不理想。幸運的是，這種缺陷可以通過一對多分配來彌補(bǔ)。

該研究提出的「雙標(biāo)簽分配」結(jié)合了上述兩種策略的優(yōu)點。如下圖所示，該研究為 YOLO 引入了另一個一對一 head。它保留了與原始一對多分支相同的結(jié)構(gòu)并采用相同的優(yōu)化目標(biāo)，但利用一對一匹配來獲取標(biāo)簽分配。在訓(xùn)練過程中，兩個 head 聯(lián)合優(yōu)化，以提供豐富的監(jiān)督；在推理過程中，YOLOv10 會丟棄一對多 head 并利用一對一 head 做出預(yù)測。這使得 YOLO 能夠進(jìn)行端到端部署，而不會產(chǎn)生任何額外的推理成本。

整體效率 - 準(zhǔn)確率驅(qū)動的模型設(shè)計 

除了后處理之外，YOLO 的模型架構(gòu)也對效率 - 準(zhǔn)確率權(quán)衡提出了巨大挑戰(zhàn)。盡管之前的研究工作探索了各種設(shè)計策略，但仍然缺乏對 YOLO 中各種組件的全面檢查。因此，模型架構(gòu)表現(xiàn)出不可忽視的計算冗余和能力受限。

YOLO 中的組件包括 stem、下采樣層、帶有基本構(gòu)建塊的階段和 head。作者主要對以下三個部分執(zhí)行效率驅(qū)動的模型設(shè)計。

1. 輕量級分類 head
2. 空間通道解耦下采樣
3. 排序指導(dǎo)的模塊設(shè)計

為了實現(xiàn)準(zhǔn)確率驅(qū)動的模型設(shè)計，研究團(tuán)隊進(jìn)一步探索了大核卷積和自注意力機(jī)制，旨在以最小的成本提升模型性能。

實驗

如表 1 所示，清華團(tuán)隊所開發(fā)的的 YOLOv10 在各種模型規(guī)模上實現(xiàn)了 SOTA 的性能和端到端延遲。

該研究還針對 YOLOv10-S 和 YOLOv10-M 進(jìn)行了消融實驗，實驗結(jié)果如下表所示：

如下表所示，雙標(biāo)簽分配實現(xiàn)了最佳的 AP - 延遲權(quán)衡，采用一致匹配度量可以達(dá)到最優(yōu)性能。

如下表所示，每個設(shè)計組件，包括輕量級分類 head、空間通道解耦下采樣和排序指導(dǎo)的模塊設(shè)計，都有助于減少參數(shù)數(shù)量、FLOPs 和延遲。重要的是，這些改進(jìn)是在保持卓越性能的同時所實現(xiàn)的。

針對準(zhǔn)確性驅(qū)動的模型設(shè)計的分析。研究人員展示了基于 YOLOv10-S/M 逐步集成準(zhǔn)確性驅(qū)動設(shè)計元素的結(jié)果。

如表 10 所示，采用大核卷積和 PSA 模塊分別在延遲最小增加 0.03ms 和 0.15ms 的情況下，使 YOLOv10-S 的性能有了 0.4% AP 和 1.4% AP 的顯著提升。