YOLOv12 是 YOLO 系列中首個打破傳統(tǒng)基于卷積神經(jīng)網(wǎng)絡(luò)（CNN）方法的模型，它通過將注意力機制直接集成到目標(biāo)檢測過程中實現(xiàn)了這一突破。本文深入研究了 YOLOv12 的架構(gòu)、創(chuàng)新模塊、技術(shù)細節(jié)以及它在實際應(yīng)用中的性能表現(xiàn)。該模型配備了區(qū)域注意力（Area Attention）方法、殘差高效層聚合網(wǎng)絡(luò)（Residual Efficient Layer Aggregation Networks，R-ELAN）和快速注意力（FlashAttention）等先進技術(shù)，既實現(xiàn)了高檢測精度（平均精度均值，mAP），又具備實時推理速度，為工業(yè)應(yīng)用、自動駕駛、安防等眾多領(lǐng)域帶來了革命性的提升。

一、引言及 YOLO 系列的演進

“你只需看一次”（You Only Look Once，YOLO）系列自誕生以來，通過不斷提升速度和精度，徹底革新了目標(biāo)檢測領(lǐng)域。從 YOLOv1 的單階段預(yù)測方法，到后續(xù)借助 Darknet、跨階段局部網(wǎng)絡(luò)（CSP）、高效層聚合網(wǎng)絡(luò)（ELAN）以及其他各種創(chuàng)新技術(shù)所做出的改進，每個版本都為實際應(yīng)用帶來了更高的性能和效率。

盡管像 YOLOv11 這樣的早期版本因在實時應(yīng)用中具有較高的幀率（FPS，每秒幀數(shù)）而受到認(rèn)可，但 YOLOv12 通過集成注意力機制，對架構(gòu)進行了全新的構(gòu)思。這使得該模型不僅依賴卷積方法，還能更有效地對大感受野進行建模，從而實現(xiàn)更高的精度（mAP）。

二、YOLOv12 的核心特性與創(chuàng)新方法

1. 以注意力機制為核心的架構(gòu)

YOLOv12 的顯著特點是摒棄了傳統(tǒng)基于 CNN 的方法，引入注意力機制用于實時目標(biāo)檢測。這一方法基于兩項主要創(chuàng)新：

(1) 區(qū)域注意力（Area Attention）：

為了克服傳統(tǒng)自注意力機制的高計算成本問題，YOLOv12 將特征圖水平或垂直劃分為大小相等的區(qū)域（默認(rèn)分為 4 部分）。這種簡單而有效的方法在保留大感受野的同時，顯著降低了計算復(fù)雜度。

(2) 殘差高效層聚合網(wǎng)絡(luò)（Residual Efficient Layer Aggregation Networks，R-ELAN）

R-ELAN 是早期 ELAN 架構(gòu)的演進版本，它通過引入塊級殘差連接和縮放技術(shù)，解決了訓(xùn)練過程中的不穩(wěn)定性問題。這種重新設(shè)計的特征聚合方法，使得即使是更深更寬的模型版本也能穩(wěn)定訓(xùn)練。2.2 快速注意力（FlashAttention）的集成

YOLOv12 利用快速注意力（FlashAttention）技術(shù)來最小化內(nèi)存訪問瓶頸。該技術(shù)在現(xiàn)代支持 CUDA 的 GPU（如 Turing、Ampere、Ada Lovelace、Hopper 架構(gòu)）上尤為有效，能顯著減少注意力操作的計算時間，從而提升模型的整體效率。

2. 調(diào)整多層感知機（MLP）比例并去除位置編碼

與典型的 Transformer 中 MLP 擴展比例為 4 不同，YOLOv12 使用較低的比例（例如 1.2 或 2），以便更好地平衡注意力層和前饋層之間的計算量。此外，該模型去除了不必要的位置編碼，從而構(gòu)建了更簡潔、快速的架構(gòu)，并引入了一個 7×7 的可分離卷積（稱為 “位置感知器”）來隱式地對位置信息進行建模。

3. 支持的任務(wù)和模式

YOLOv12 是一個功能多樣的模型，支持廣泛的計算機視覺任務(wù)。下表總結(jié)了它所支持的任務(wù)：

這種多功能性使得該模型適用于自動駕駛、工業(yè)自動化、醫(yī)療保健、安防等眾多領(lǐng)域。

三、技術(shù)架構(gòu)解析

YOLOv12 的架構(gòu)融入了多項創(chuàng)新，使其在保持實時性能的同時，有別于早期的 YOLO 版本。

1. 區(qū)域注意力機制

基本原理：

區(qū)域注意力機制通過將特征圖（例如 H×W）分割為 l 個相等的部分（默認(rèn) l = 4）來解決傳統(tǒng)自注意力的二次復(fù)雜度問題，這些部分可以水平或垂直排列。這種方法：

• 降低了計算成本。
• 保留了廣泛的感受野。
• 無需復(fù)雜的窗口劃分。這種簡單的重塑操作顯著降低了計算復(fù)雜度并加快了模型速度。[來源：Ultralytics 官方文檔]

2. 殘差高效層聚合網(wǎng)絡(luò)（R-ELAN）

目的：

為了克服原始 ELAN 架構(gòu)中梯度阻塞和優(yōu)化困難的問題，R-ELAN 包含以下內(nèi)容：

• 塊級殘差連接：添加從輸入到輸出的殘差（跳躍）連接，并通過層縮放來穩(wěn)定梯度流動。
• 重新設(shè)計的特征集成：重新組織輸出通道以創(chuàng)建類似瓶頸的結(jié)構(gòu)，在保持整體精度的同時，降低了計算成本和參數(shù)數(shù)量。

這些改進對于訓(xùn)練更大規(guī)模的模型（M、L、X）特別有益。

3. 優(yōu)化的注意力架構(gòu)組件

YOLOv12 通過多項優(yōu)化進一步完善了注意力機制：

• 快速注意力（FlashAttention）：最小化內(nèi)存訪問瓶頸，確保在支持 CUDA 的 GPU 上實現(xiàn)高速性能。
• MLP 比例調(diào)整：通過將 MLP 擴展比例從 4 降低到較低值，平衡了注意力層和前饋層之間的計算量。
• 去除位置編碼：與傳統(tǒng)的位置編碼不同，使用 7×7 的可分離卷積（“位置感知器”）來隱式捕獲位置信息。
• 深度減少：減少堆疊塊的數(shù)量，簡化了優(yōu)化過程并減少了推理時間。
• 卷積算子的集成：利用高效的卷積操作有助于降低整體參數(shù)數(shù)量和計算成本。

四、性能指標(biāo)與實際應(yīng)用

在像 COCO 這樣的標(biāo)準(zhǔn)基準(zhǔn)測試中，YOLOv12 取得了以下結(jié)果：

• YOLOv12-Nano（N）：推理延遲為 1.64 毫秒，平均精度均值（mAP）達到 40.6%。
• 更大規(guī)模的模型（S、M、L、X）：隨著參數(shù)數(shù)量的增加，它們能達到更高的 mAP 值；然而，這種增加必須根據(jù) GPU 性能和特定應(yīng)用需求進行仔細評估。

在實際測試中，例如在實時視頻流中，YOLOv12 的低延遲和高精度表現(xiàn)突出，尤其是在工業(yè)自動化、安防和自動駕駛等領(lǐng)域。此外，由于 Ultralytics 開發(fā)的集成包，安裝和集成過程大大簡化。YOLOv12 已在 COCO val2017 等標(biāo)準(zhǔn)基準(zhǔn)上進行了各種規(guī)模的測試。以下是該模型重要版本（nano、small、medium、large、extra-large）的一些關(guān)鍵性能指標(biāo)總結(jié)：

注意：表格中的數(shù)據(jù)是使用配備 TensorRT FP16 的 NVIDIA T4 GPU 獲得的。

1. 精度與實際應(yīng)用

(1) 精度：

YOLOv12，特別是其較大規(guī)模的版本（mAP50–95 范圍從 52.5% 到 55.2%），實現(xiàn)了高精度。這歸因于該模型的大感受野，使其能夠更精確地定位目標(biāo)。

(2) 實時推理：

Nano 版本 1.64 毫秒的推理時間在對時間敏感的應(yīng)用中具有顯著優(yōu)勢，例如自動駕駛、安防攝像頭和工業(yè)自動化。

(3) 應(yīng)用示例

• 自動駕駛：高精度和低延遲使其能夠檢測道路和交通標(biāo)志等小目標(biāo)。
• 安防：視頻監(jiān)控系統(tǒng)中快速而精確的目標(biāo)檢測最大限度地減少了安全漏洞。
• 工業(yè)自動化：生產(chǎn)線上快速的目標(biāo)檢測加快了錯誤檢測和質(zhì)量控制過程。

2. 對比分析

與之前的 YOLO 模型相比，YOLOv12 具有以下特點：

• 與 YOLOv10 和 YOLOv11 相比：Nano 版本比 YOLOv10n 的 mAP 提高了 2.1%，比 YOLOv11-nano 的 mAP 提高了 1.2%。
• 與像 RT-DETR 這樣的競爭模型相比：YOLOv12s 在保持高精度和快速推理的同時，速度提高了多達 42%。這些數(shù)據(jù)表明，YOLOv12 無論是在學(xué)術(shù)研究還是工業(yè)應(yīng)用中都是首選。

五、安裝與使用指南

YOLOv12 旨在與現(xiàn)代深度學(xué)習(xí)框架兼容。例如：

(1) 安裝

• 安裝所需的依賴項：（例如，Python 3.11、CUDA 12.x、FlashAttention、PyTorch 等）
• 克隆 YOLOv12 的 GitHub 倉庫：

git clone https://github.com/sunsmarterjie/yolov12.git 
cd yolov12 
pip install -r requirements.txt 
pip install flash-attn==2.7.3 --no-build-isolation

• 確保你的支持 CUDA 的 GPU 已配置好適當(dāng)?shù)尿?qū)動程序和庫。

(2) 使用

快速加載模型并進行預(yù)測：

from ultralytics import YOLO 
model = YOLO("yolov12n.pt")
results = model.predict("image.jpg")
results[0].show()# 可視化預(yù)測結(jié)果

你也可以使用基于 Gradio 的 Web 界面運行演示：

python app.py

這些步驟使 YOLOv12 能夠快速部署在不同的應(yīng)用場景中（視頻、攝像頭輸入流、靜態(tài)圖像）。

五、使用示例

1. 使用 Python 接口：

from ultralytics import YOLO


# 加載在 COCO 數(shù)據(jù)集上訓(xùn)練的 YOLO12n 模型
model = YOLO("yolo12n.pt")


# 在 COCO8 數(shù)據(jù)集上訓(xùn)練模型 100 個 epoch
results = model.train(data="coco8.yaml", epochs=100, imgsz=640)


# 在 'bus.jpg' 圖像中檢測目標(biāo)
results = model("path/to/bus.jpg")results[0].show()# 可視化預(yù)測結(jié)果

2. 命令行接口（CLI）

使用在 COCO 上預(yù)訓(xùn)練的 YOLO12n 模型開始訓(xùn)練：

yolo train model=yolo12n.pt data=coco8.yaml epochs=100 imgsz=640

在圖像 'bus.jpg' 中檢測目標(biāo)：

yolo predict model=yolo12n.pt source=path/to/bus.jpg

3. 基于 Gradio 的 Web 演示

使用基于 Gradio 的 Web 界面進行演示：python app.py，此命令將在本地 http://127.0.0.1:7860 啟動一個交互式演示。

與之前的版本相比，YOLOv12 在幾個方面表現(xiàn)出色：

• 速度：推理延遲得到了優(yōu)化，例如在 GPU 上低至 1.64 毫秒，使其非常適合實時應(yīng)用。
• 精度：在 COCO 基準(zhǔn)測試中，YOLOv12-N 比 YOLOv11-N 的 mAP 提高了 2.1%。然而，在某些實際場景中，幀率（FPS）可能會略有變化。
• 模型大小和計算成本：借助 R-ELAN 和區(qū)域注意力模塊，在不犧牲性能的情況下減少了參數(shù)數(shù)量。這種平衡使得 YOLOv12 成為工業(yè)應(yīng)用、自動駕駛、安防系統(tǒng)和許多其他領(lǐng)域的首選。

六、創(chuàng)新改進與優(yōu)化

YOLOv12 的關(guān)鍵創(chuàng)新可以總結(jié)如下：

1. 先進的特征提取

• 區(qū)域注意力（Area Attention）：：將特征圖劃分為相等的部分，在降低計算成本的同時保留了大感受野。
• 優(yōu)化的平衡：調(diào)整 MLP 比例以平衡注意力層和前饋層之間的計算量。
• R-ELAN：通過殘差連接和瓶頸結(jié)構(gòu)，為深度網(wǎng)絡(luò)提供穩(wěn)定的訓(xùn)練。

2. 優(yōu)化創(chuàng)新

• 殘差連接和層縮放：添加從輸入到輸出的殘差連接，緩解了梯度流動問題并穩(wěn)定了訓(xùn)練過程。
• 快速注意力（FlashAttention）：最小化內(nèi)存訪問瓶頸，尤其是在現(xiàn)代 NVIDIA GPU（Ampere、Ada Lovelace、Hopper 架構(gòu)）上，確?？焖俚男阅堋?/li>
• 去除位置編碼和使用位置感知器：與傳統(tǒng)的位置編碼不同，采用 7×7 的可分離卷積來隱式地對位置信息進行建模。

3. 架構(gòu)深度和參數(shù)效率

• 減少堆疊塊的深度：簡化了優(yōu)化過程，從而實現(xiàn)更快的訓(xùn)練時間和更低的延遲。
• 卷積算子的集成：使用高效的卷積操作減少了參數(shù)總數(shù)和計算成本。

七、硬件要求與設(shè)置

為了充分發(fā)揮 YOLOv12 的優(yōu)勢，特別是快速注意力（FlashAttention）特性，確保你擁有以下 NVIDIA GPU 系列之一：

• Turing 架構(gòu) GPU：例如，NVIDIA T4、Quadro RTX 系列
• Ampere 架構(gòu) GPU：例如，RTX30 系列、A30/40/100
• Ada Lovelace 架構(gòu) GPU：例如，RTX40 系列
• Hopper 架構(gòu) GPU：例如，H100/H200確保你的 CUDA 工具包和 GPU 驅(qū)動程序已更新，以保證在訓(xùn)練和推理過程中都能獲得最佳性能。

1. 克隆倉庫：

git clone https://github.com/sunsmarterjie/yolov12.git 
cd yolov12

2. 安裝所需的依賴項：

pip install -r requirements.txt 
pip install flash-attn==2.7.3 --no-build-isolation

八、結(jié)論與未來展望

YOLOv12 成功地將注意力機制的強大功能集成到實時目標(biāo)檢測中，為該領(lǐng)域的性能設(shè)定了新的基準(zhǔn)。

優(yōu)點：

• 通過先進的區(qū)域注意力機制實現(xiàn)高精度。
• 借助快速注意力（FlashAttention）減少推理延遲。
• 由于 R-ELAN，即使在深度模型中也能實現(xiàn)穩(wěn)定的訓(xùn)練。
• 支持多種任務(wù)：目標(biāo)檢測、分割、分類、姿態(tài)估計和有向目標(biāo)檢測。

缺點：

• 快速注意力（FlashAttention）的優(yōu)勢需要現(xiàn)代兼容的 GPU，這可能會限制在較舊硬件上的性能。
• 實際場景可能需要針對不同的數(shù)據(jù)集和用例進行微調(diào)（例如，調(diào)整幀率）。展望未來，預(yù)計會出現(xiàn)更多基于 YOLOv12 的變體，可能會針對移動部署、更低功耗和更廣泛的應(yīng)用領(lǐng)域進行優(yōu)化，為實現(xiàn)更高效、多功能的目標(biāo)檢測解決方案鋪平道路。

【參考文獻】

• 論文：https://www.arxiv.org/pdf/2502.12524
• 代碼：https://github.com/sunsmarterjie/yolov12