用于移動(dòng)設(shè)備的高效神經(jīng)網(wǎng)絡(luò)主干通常針對(duì) FLOP 或參數(shù)計(jì)數(shù)等指標(biāo)進(jìn)行優(yōu)化。但當(dāng)部署在移動(dòng)設(shè)備上，這些指標(biāo)與網(wǎng)絡(luò)的延遲可能并沒有很好的相關(guān)性。

基于此，來自蘋果的研究者通過在移動(dòng)設(shè)備上部署多個(gè)移動(dòng)友好網(wǎng)絡(luò)對(duì)不同指標(biāo)進(jìn)行廣泛分析，探究了現(xiàn)有高效神經(jīng)網(wǎng)絡(luò)的架構(gòu)和優(yōu)化瓶頸，提供了緩解這些瓶頸的方法。該研究設(shè)計(jì)了一個(gè)高效的主干架構(gòu) MobileOne，它的變體在 iPhone12 上的推理時(shí)間少于 1 ms，在 ImageNet 上的 top-1 準(zhǔn)確率為 75.9%。

論文地址：https://arxiv.org/abs/2206.04040

MobileOne 架構(gòu)不僅實(shí)現(xiàn)了 SOTA 的性能，還在移動(dòng)設(shè)備上提速了許多倍。其中，最好的模型變體在 ImageNet 上獲得了與 MobileFormer 相當(dāng)?shù)男阅?，同時(shí)速度提高了 38 倍。MobileOne 在 ImageNet 上的 top-1 準(zhǔn)確率比 EfficientNet 在相似的延遲下高 2.3%。

此外，該研究還表明 MobileOne 可以推廣到多個(gè)任務(wù) —— 圖像分類、目標(biāo)檢測和語義分割，與部署在移動(dòng)設(shè)備上的現(xiàn)有高效架構(gòu)相比，準(zhǔn)確度顯著提高，延遲顯著縮短。

方法概覽

研究者首先分析了常用指標(biāo)（FLOP 和參數(shù)計(jì)數(shù)）與移動(dòng)設(shè)備延遲的相關(guān)性，并分析了架構(gòu)中不同設(shè)計(jì)選擇對(duì)手機(jī)延遲的影響。

指標(biāo)相關(guān)性

比較兩個(gè)或多個(gè)模型大小最常用的成本指標(biāo)是參數(shù)計(jì)數(shù)和 FLOPs。但是，它們可能與實(shí)際移動(dòng)應(yīng)用程序中的延遲沒有很好的相關(guān)性，該研究對(duì)此進(jìn)行了深入的分析，對(duì)高效神經(jīng)網(wǎng)絡(luò)進(jìn)行了基準(zhǔn)測試。

該研究并使用近期模型的 Pytorch 實(shí)現(xiàn)將它們轉(zhuǎn)換為 ONNX 格式。該研究使用 Core ML Tools 將每個(gè)模型轉(zhuǎn)換成 coreml 包，然后開發(fā)了一個(gè) iOS 應(yīng)用程序來測量 iPhone12 上的模型延遲。

如下圖 2 所示，該研究繪制了延遲與 FLOPs 和延遲與參數(shù)計(jì)數(shù)的關(guān)系圖。研究者觀察發(fā)現(xiàn)許多具有較高參數(shù)計(jì)數(shù)的模型延遲較低。在類似的 FLOPs 和參數(shù)計(jì)數(shù)下，MobileNets 等卷積模型對(duì)于比相應(yīng)的 Transformer 模型延遲更低。

研究者還估計(jì)了下表 1 (a) 中的 Spearman 排名相關(guān)性，并發(fā)現(xiàn)延遲與 FLOPs 適度相關(guān)，而與移動(dòng)設(shè)備上高效架構(gòu)的參數(shù)計(jì)數(shù)弱相關(guān)，在臺(tái)式機(jī) CPU 上相關(guān)性會(huì)更低。

激活函數(shù)的關(guān)鍵瓶頸

為了分析激活函數(shù)對(duì)延遲的影響，該研究構(gòu)建了一個(gè) 30 層的卷積神經(jīng)網(wǎng)絡(luò)，并在 iPhone12 上使用不同的激活函數(shù)對(duì)其進(jìn)行基準(zhǔn)測試，這些激活函數(shù)通常被用于高效的 CNN 主干網(wǎng)絡(luò)。下表 3 中的所有模型除了激活函數(shù)之外，架構(gòu)都是相同的，但它們的延遲卻截然不同。

這種差異主要是由最近提出的激活函數(shù)（例如 SE-ReLU、Dynamic Shift-Max 和 DynamicReLUs）造成的。  MobileOne 中僅使用 ReLU 激活函數(shù)。架構(gòu)塊影響運(yùn)行時(shí)性能的兩個(gè)關(guān)鍵因素是內(nèi)存訪問成本和并行度。

在多分支架構(gòu)中，內(nèi)存訪問成本顯著增加，因?yàn)楸仨毚鎯?chǔ)來自每個(gè)分支的激活函數(shù)來計(jì)算圖中的下一個(gè)張量。如果網(wǎng)絡(luò)的分支數(shù)較少，則可以避免此類內(nèi)存瓶頸。強(qiáng)制同步的架構(gòu)塊（如 Squeeze-Excite 塊中使用的全局池化操作）也會(huì)因同步成本而影響整體運(yùn)行時(shí)間。為了演示內(nèi)存訪問成本和同步成本等隱藏成本，該研究在 30 層卷積神經(jīng)網(wǎng)絡(luò)中大量使用殘差連接（skip connection）和 Squeeze-Excite 塊，表 1b 展示了它們對(duì)延遲的影響。

基于此，該研究采用了在推理時(shí)沒有分支的架構(gòu)，從而降低了內(nèi)存訪問成本，并在 MobileOne 的最大變體中使用 Squeeze-Excite 塊以提高準(zhǔn)確性。最終，MobileOne 架構(gòu)如下圖所示。

為了提高性能，模型在以下幾個(gè)方面進(jìn)行了擴(kuò)展：寬度、深度和分辨率。該研究沒有隨著 FLOP 和內(nèi)存消耗的增加而擴(kuò)大輸入分辨率，這對(duì)移動(dòng)設(shè)備上的運(yùn)行時(shí)性能是有害的。

由于新模型在推理時(shí)沒有多分支架構(gòu)，因此它不會(huì)產(chǎn)生數(shù)據(jù)移動(dòng)成本。與多分支架構(gòu)（如 MobileNet-V2、EfficientNets 等）相比，蘋果的新模型能夠積極地?cái)U(kuò)展模型參數(shù)，而不會(huì)產(chǎn)生很高的延遲成本。

增加參數(shù)數(shù)量能夠讓該模型很好地泛化到其他計(jì)算機(jī)視覺任務(wù)上，如目標(biāo)檢測和語義分割。表 4 將新模型與最近的訓(xùn)練時(shí)間過參數(shù)化工作進(jìn)行了比較，結(jié)果表明 MobileOne-S1 變體的性能優(yōu)于 RepVGG-B0，約比后者高 3 倍。

實(shí)驗(yàn)及結(jié)果

在移動(dòng)設(shè)備上獲得準(zhǔn)確的延遲測量可能很困難。在 iPhone 12 上，沒有命令行訪問或功能來保留所有計(jì)算結(jié)構(gòu)以僅用于模型執(zhí)行。同時(shí)也無法將往返延遲分解為網(wǎng)絡(luò)初始化、數(shù)據(jù)移動(dòng)和網(wǎng)絡(luò)執(zhí)行等類別。為了測量延遲，該研究使用 swift 開發(fā)了一個(gè) iOS 應(yīng)用程序?qū)@些模型進(jìn)行基準(zhǔn)測試。該應(yīng)用程序使用 Core ML 運(yùn)行模型。

在基準(zhǔn)測試期間，應(yīng)用程序會(huì)多次運(yùn)行模型（默認(rèn)為 1000 次）并累積統(tǒng)計(jì)信息。為了實(shí)現(xiàn)最低延遲和最高一致性，手機(jī)上的所有其他應(yīng)用程序都將關(guān)閉。

如下表 8 所示，該研究報(bào)告了完整的模型往返延遲。其中大部分時(shí)間可能不是來自該模型本身的執(zhí)行進(jìn)程，但在實(shí)際應(yīng)用程序中，這些延遲是不可避免的。因此，該研究將它們包含在報(bào)告的延遲中。為了過濾掉來自其他進(jìn)程的中斷，該研究報(bào)告了所有模型的最小延遲。

此外，該研究還報(bào)告了幾種模型在 MS COCO 數(shù)據(jù)集上的目標(biāo)檢測任務(wù)性能和在 Pascal VOC 、ADE 20k 數(shù)據(jù)集上語義分割任務(wù)性能，MobileOne 的性能普遍優(yōu)于其他模型，具體結(jié)果如下表 9 所示。

感興趣的讀者可以閱讀論文原文，了解更多研究細(xì)節(jié)。