[[431006]]

算法速度優(yōu)化遇到瓶頸，達不到要求？應(yīng)用環(huán)境沒有高性能硬件只有 CPU？

是不是直接戳中了各位開發(fā)者的痛點！莫慌，今天小編就來為萬千開發(fā)者破局。

這個破局點就是：針對 CPU 設(shè)備及加速庫 MKLDNN 定制的骨干網(wǎng)絡(luò) PP-LCNet！

空口無憑，上圖為證！

從上圖我們可以看出，PP-LCNet 在同樣精度的情況下，速度遠超當前所有的骨架網(wǎng)絡(luò)，最多可以有 2 倍的性能優(yōu)勢！它應(yīng)用在比如目標檢測、語義分割等任務(wù)算法上，也可以使原本的網(wǎng)絡(luò)有大幅度的性能提升。

而這個 PP-LCNet 的論文發(fā)布和代碼開源后，也著實引來了眾多業(yè)界開發(fā)者的關(guān)注，各界大神把 PP-LCNet 應(yīng)用在 YOLO 系列算法上也真實帶來了極其可觀的性能收益。

這時候是不是有小伙伴已經(jīng)按耐不住也想直接上手試試了？！

小編識趣地趕緊送上開源代碼的傳送門。大家一定要 Star 收藏以免走失，也給開源社區(qū)一些認可和鼓勵。

地址：https://github.com/PaddlePaddle/PaddleClas

而這個 PP-LCNet 到底是如何設(shè)計，從而有這么好的性能的呢？下面小編就帶大家來領(lǐng)略一下：

PP-LCNet 核心技術(shù)解讀

近年來，很多輕量級的骨干網(wǎng)絡(luò)問世，各種 NAS 搜索出的網(wǎng)絡(luò)尤其亮眼。但這些算法的優(yōu)化都脫離了產(chǎn)業(yè)最常用的 Intel CPU 設(shè)備環(huán)境，加速能力也往往不合預(yù)期。百度飛槳圖像分類套件 PaddleClas 基于這樣的產(chǎn)業(yè)現(xiàn)狀，針對 Intel CPU 及其加速庫 MKLDNN 定制了獨特的高性能骨干網(wǎng)絡(luò) PP-LCNet。比起其他的輕量級 SOTA 模型，該骨干網(wǎng)絡(luò)可以在不增加推理時間的情況下，進一步提升模型的性能，最終大幅度超越現(xiàn)有的 SOTA 模型。

PP-LCNet 的網(wǎng)絡(luò)結(jié)構(gòu)整體如上圖所示。我們經(jīng)過大量的實驗發(fā)現(xiàn)，在基于 Intel CPU 的設(shè)備上，尤其當啟用 MKLDNN 加速庫后，很多看似不太耗時的操作反而會增加延時，比如 elementwise-add 操作、split-concat 結(jié)構(gòu)等。所以最終我們選用了結(jié)構(gòu)盡可能精簡、速度盡可能快的 block 組成我們的 BaseNet（類似 MobileNetV1）?；?BaseNet，我們通過實驗，總結(jié)出四條幾乎不增加延時但又能夠提升模型精度的方法，下面將對這四條策略進行詳細介紹：

更好的激活函數(shù)

自從卷積神經(jīng)網(wǎng)絡(luò)使用了 ReLU 激活函數(shù)后，網(wǎng)絡(luò)性能得到了大幅度提升。近些年 ReLU 激活函數(shù)的變體也相繼出現(xiàn)，如 Leaky-ReLU、P-ReLU、ELU 等。2017 年，谷歌大腦團隊通過搜索的方式得到了 swish 激活函數(shù)，該激活函數(shù)在輕量級網(wǎng)絡(luò)上表現(xiàn)優(yōu)異。在 2019 年，MobileNetV3 的作者將該激活函數(shù)進一步優(yōu)化為 H-Swish，該激活函數(shù)去除了指數(shù)運算，速度更快，網(wǎng)絡(luò)精度幾乎不受影響。我們也經(jīng)過很多實驗發(fā)現(xiàn)該激活函數(shù)在輕量級網(wǎng)絡(luò)上有優(yōu)異的表現(xiàn)。所以在 PP-LCNet 中，我們選用了該激活函數(shù)。

合適的位置添加 SE 模塊

SE 模塊是 SENet 提出的一種通道注意力機制，可以有效提升模型的精度。但是在 Intel CPU 端，該模塊同樣會帶來較大的延時，如何平衡精度和速度是我們要解決的一個問題。雖然在 MobileNetV3 等基于 NAS 搜索的網(wǎng)絡(luò)中對 SE 模塊的位置進行了搜索，但是并沒有得出一般的結(jié)論。我們通過實驗發(fā)現(xiàn)，SE 模塊越靠近網(wǎng)絡(luò)的尾部對模型精度的提升越大。下表也展示了我們的一些實驗結(jié)果：

最終，PP-LCNet 中的 SE 模塊的位置選用了表格中第三行的方案。

更大的卷積核

在 MixNet 的論文中，作者分析了卷積核大小對模型性能的影響，結(jié)論是在一定范圍內(nèi)大的卷積核可以提升模型的性能，但是超過這個范圍會有損模型的性能，所以作者組合了一種 split-concat 范式的 MixConv，這種組合雖然可以提升模型的性能，但是不利于推理。我們通過實驗總結(jié)了一些更大的卷積核在不同位置的作用，類似 SE 模塊的位置，更大的卷積核在網(wǎng)絡(luò)的中后部作用更明顯，下表展示了 5x5 卷積核的位置對精度的影響：

實驗表明，更大的卷積核放在網(wǎng)絡(luò)的中后部即可達到放在所有位置的精度，與此同時，獲得更快的推理速度。PP-LCNet 最終選用了表格中第三行的方案。

GAP 后使用更大的 1x1 卷積層

在 GoogLeNet 之后，GAP（Global-Average-Pooling）后往往直接接分類層，但是在輕量級網(wǎng)絡(luò)中，這樣會導(dǎo)致 GAP 后提取的特征沒有得到進一步的融合和加工。如果在此后使用一個更大的 1x1 卷積層（等同于 FC 層），GAP 后的特征便不會直接經(jīng)過分類層，而是先進行了融合，并將融合的特征進行分類。這樣可以在不影響模型推理速度的同時大大提升準確率。

BaseNet 經(jīng)過以上四個方面的改進，得到了 PP-LCNet。下表進一步說明了每個方案對結(jié)果的影響：

下游任務(wù)性能驚艷提升

圖像分類

圖像分類我們選用了 ImageNet 數(shù)據(jù)集，相比目前主流的輕量級網(wǎng)絡(luò)，PP-LCNet 在相同精度下可以獲得更快的推理速度。當使用百度自研的 SSLD 蒸餾策略后，精度進一步提升，在 Intel CPU 端約 5ms 的推理速度下 ImageNet 的 Top-1 Acc 竟然超過了 80%，Amazing?。。?/strong>

目標檢測

目標檢測的方法我們選用了百度自研的 PicoDet，該方法主打輕量級目標檢測場景。下表展示了在 COCO 數(shù)據(jù)集上、backbone 選用 PP-LCNet 與 MobileNetV3 的結(jié)果的比較。無論在精度還是速度上，PP-LCNet 的優(yōu)勢都非常明顯。

語義分割

語義分割的方法我們選用了 DeeplabV3+。下表展示了在 Cityscapes 數(shù)據(jù)集上、backbone 選用 PP-LCNet 與 MobileNetV3 的比較。在精度和速度方面，PP-LCNet 的優(yōu)勢同樣明顯。

實際拓展應(yīng)用結(jié)果說明

PP-LCNet 在計算機視覺下游任務(wù)上表現(xiàn)很出色，那在真實的使用場景如何呢？本節(jié)簡述其在 PP-OCR v2、PP-ShiTu 上的表現(xiàn)。

在 PP-OCR v2 上，只將識別模型的 backbone 由 MobileNetV3 替換為 PP-LCNet 后，在速度更快的同時，精度可以進一步提升。

在 PP-ShiTu 中，將 Backbone 的 ResNet50_vd 替換為 PP-LCNet-2.5x 后，在 Intel-CPU 端，速度快 3 倍，recall@1 基本和 ResNet50_vd 持平。

PP-LCNet 并不是追求極致的 FLOPs 與 Params，而是著眼于深入技術(shù)細節(jié)，耐心分析如何添加對 Intel CPU 友好的模塊來提升模型的性能來更好地進行準確率和推理時間的平衡，其中的實驗結(jié)論也很適合其他網(wǎng)絡(luò)結(jié)構(gòu)設(shè)計的研究者，同時也為 NAS 搜索研究者提供了更小的搜索空間和一般結(jié)論。

自論文發(fā)出以來，PP-LCNet 引起了國內(nèi)外學術(shù)界和產(chǎn)業(yè)界的廣泛關(guān)注，無論是各類版本的復(fù)現(xiàn)，還是極具探索意義和實用價值的各類視覺任務(wù)應(yīng)用和技術(shù)分析文章層出不窮，將簡單模型的實用性優(yōu)化方案重新帶入大家的視野，真正踐行技術(shù)讓 “生活” 更美好的初心，期待 PP-LCNet 在實際落地和應(yīng)用中的更多表現(xiàn)。

前面提到的論文，鏈接如下：https://arxiv.org/pdf/2109.15099.pdf

本論文工作的總體研究思路由百度飛槳 PaddleClas 團隊提出并實施。PaddleClas 提供全球首個開源通用圖像識別系統(tǒng)，并力求為工業(yè)界和學術(shù)界提供更高效便捷的開發(fā)工具，為開發(fā)者帶來更流暢優(yōu)質(zhì)的使用體驗，訓練出更好的飛槳視覺模型，實現(xiàn)行業(yè)場景實現(xiàn)落地應(yīng)用。

想要獲取更多 PaddleClas 相關(guān)介紹及教程文檔可前往：GitHub: https://github.com/PaddlePaddle/PaddleClas