細粒度圖像識別 [1] 是視覺感知學習的重要研究課題，在智能新經(jīng)濟和工業(yè)互聯(lián)網(wǎng)等方面具有巨大應用價值，且在諸多現(xiàn)實場景已有廣泛應用…… 鑒于當前領域內(nèi)尚缺乏該方面的深度學習開源工具庫，南京理工大學魏秀參教授團隊用時近一年時間，開發(fā)、打磨、完成了 Hawkeye——細粒度圖像識別深度學習開源工具庫，供相關(guān)領域研究人員和工程師參考使用。本文是對 Hawkeye 的詳細介紹。

1.什么是 Hawkeye 庫

Hawkeye 是一個基于 PyTorch 的細粒度圖像識別深度學習工具庫，專為相關(guān)領域研究人員和工程師設計。目前，Hawkeye 包含多種代表性范式的細粒度識別方法，包括 “基于深度濾波器”、“基于注意力機制”、“基于高階特征交互”、“基于特殊損失函數(shù)”、“基于網(wǎng)絡數(shù)據(jù)” 以及其他方法。

Hawkeye 項目代碼風格良好，結(jié)構(gòu)清晰易讀，可拓展性較強。對于剛接觸細粒度圖像識別領域的相關(guān)人員而言，Hawkeye 較易上手，便于其理解細粒度圖像識別的主要流程和代表性方法，同時也方便在本工具庫上快速實現(xiàn)自己的算法。此外，我們還給出了庫中各模型的訓練示例代碼，自研方法也可按照示例快速適配并添加至 Hawkeye 中。

Hawkeye 開源庫鏈接：https://github.com/Hawkeye-FineGrained/Hawkeye

2.Hawkeye 支持的模型及方法

Hawkeye 目前支持細粒度圖像識別中主要學習范式的共 16 個模型與方法，具體如下：

基于深度濾波器

• S3N (ICCV 2019)
• Interp-Parts (CVPR 2020)
• ProtoTree (CVPR 2021)

基于注意力機制

• OSME+MAMC (ECCV 2018)
• MGE-CNN (ICCV 2019)
• APCNN (IEEE TIP 2021)

基于高階特征交互

• BCNN (ICCV 2015)
• CBCNN (CVPR 2016)
• Fast MPN-COV (CVPR 2018)

基于特殊損失函數(shù)

• Pairwise Confusion (ECCV 2018)
• API-Net (AAAI 2020)
• CIN (AAAI 2020)

基于網(wǎng)絡數(shù)據(jù)

Peer-Learning (ICCV 2021)

其他方法

NTS-Net (ECCV 2018)

CrossX (ICCV 2019)

DCL (CVPR 2019)

3.安裝 Hawkeye

安裝依賴

使用 conda 或者 pip 安裝相關(guān)依賴：

• Python 3.8
• PyTorch 1.11.0 or higher
• torchvison 0.12.0 or higher
• numpy
• yacs
• tqdm

克隆倉庫：

git clone https://github.com/Hawkeye-FineGrained/Hawkeye.git cd Hawkeye

準備數(shù)據(jù)集

我們提供了 8 個常用的細粒度識別數(shù)據(jù)集及最新的下載鏈接：

• CUB200: https://data.caltech.edu/records/65de6-vp158/files/CUB_200_2011.tgz
• Stanford Dog: http://vision.stanford.edu/aditya86/ImageNetDogs/images.tar
• Stanford Car: http://ai.stanford.edu/~jkrause/car196/car_ims.tgz
• FGVC Aircraft: https://www.robots.ox.ac.uk/~vgg/data/fgvc-aircraft/archives/fgvc-aircraft-2013b.tar.gz
• iNat2018: https://ml-inat-competition-datasets.s3.amazonaws.com/2018/train_val2018.tar.gz
• WebFG-bird: https://web-fgvc-496-5089-sh.oss-cn-shanghai.aliyuncs.com/web-bird.tar.gz
• WebFG-car: https://web-fgvc-496-5089-sh.oss-cn-shanghai.aliyuncs.com/web-car.tar.gz
• WebFG-aircraft: https://web-fgvc-496-5089-sh.oss-cn-shanghai.aliyuncs.com/web-aircraft.tar.gz

首先，下載一個數(shù)據(jù)集（以 CUB200 為例）：

cd Hawkeye/data
wget https://data.caltech.edu/records/65de6-vp158/files/CUB_200_2011.tgz
mkdir bird && tar -xvf CUB_200_2011.tgz -C bird/

我們提供了上述 8 個數(shù)據(jù)集的 meta-data 文件，能夠匹配庫中的 FGDataset 方便地加載訓練集和測試集，訓練集和測試集為各個數(shù)據(jù)集官方提供的劃分。使用不同數(shù)據(jù)集時，只需在實驗的 config 文件中修改 dataset 配置即可，方便切換。

在實驗的 config 文件中修改 dataset 配置，示例如下：

dataset:
  name: cub
  root_dir: data/bird/CUB_200_2011/images
  meta_dir: metadata/cub

4.使用 Hawkeye 訓練模型

對于 Hawkeye 支持的每個方法，我們均提供了單獨的訓練模板和配置文件。例如訓練 APINet 只需一條命令：

python Examples/APINet.py --config configs/APINet.yaml

實驗的參數(shù)都在相應的 yaml 文件中，可讀性高、便于修改，如：

experiment:
name: API_res101 2        # 實驗名稱
log_dir: results/APINet   # 實驗日志、結(jié)果等的輸出目錄
seed: 42                  # 可以選擇固定的隨機數(shù)種子
resume: results/APINet/API_res101 2/checkpoint_epoch_19.pth    # 可以從訓練中斷的 checkpoint 中恢復訓練
dataset:
name: cub          # 使用 CUB200 數(shù)據(jù)集
root_dir: data/bird/CUB_200_2011/images   # 數(shù)據(jù)集中圖像放置的路徑
meta_dir: metadata/cub                  # CUB200 的 metadata 路徑
n_classes: 10         # 類別數(shù)，APINet 需要的數(shù)據(jù)集
n_samples: 4          # 每個類別的樣本數(shù)
batch_size: 24        # 測試時的批樣本數(shù)
num_workers: 4      # Dataloader 加載數(shù)據(jù)集的線程數(shù)
transformer:        # 數(shù)據(jù)增強的參數(shù)配置
image_size: 224      # 圖像輸入模型的尺寸 224x224
resize_size: 256    # 圖像增強前縮放的尺寸 256x256
model:
name: APINet        # 使用 APINet 模型，見 ??model/methods/APINet.py??
num_classes: 200      # 類別數(shù)目
load: results/APINet/API_res101 1/best_model.pth     # 可以加載訓練過的模型參數(shù)
train:
cuda: [4]          # 使用的 GPU 設備 ID 列表，[] 時使用 CPU
epoch: 100        # 訓練的 epoch 數(shù)量
save_frequence: 10    # 自動保存模型的頻率
val_first: False      # 可選是否在訓練前進行一次模型精度的測試
optimizer:
name: Adam        # 使用 Adam 優(yōu)化器
lr: 0.0001        # 學習率為 0.0001
weight_decay: 0.00000002
scheduler:
# 本例使用自定義組合的 scheduler，由 warmup 和余弦退火學習率組合而成，見 ??Examples/APINet.py??
name: ''
T_max: 100        # scheduler 的總迭代次數(shù)
warmup_epochs: 8    # warmup 的 epoch 數(shù)
lr_warmup_decay: 0.01  # warmup 衰減的比例
criterion:
name: APINetLoss    # APINet 使用的損失函數(shù)，見 ??model/loss/APINet_loss.py??

實驗的主程序 Examples/APINet.py 中的訓練器 APINetTrainer 繼承自 Trainer，不需要再寫復雜的訓練流程、logger、模型保存、配置加載等代碼，只用按需修改部分模塊即可。我們也提供了訓練階段的多個 hook 鉤子，可以滿足一些方法特別的實現(xiàn)方式。

日志文件、模型權(quán)重文件、訓練使用的訓練代碼以及當時的配置文件都會保存在實驗輸出目錄 log_dir 中，備份配置和訓練代碼便于日后對不同實驗進行對比。

更多詳細示例可參考項目鏈接中的具體信息：https://github.com/Hawkeye-FineGrained/Hawkeye