6月23日消息，阿里巴巴達摩院自動駕駛實驗室創(chuàng)新知識蒸餾方法，在多個計算機視覺基準測試中，顯著提升算法性能，超越業(yè)界最優(yōu)方法。相關論文已被頂會CVPR 2022收錄為口頭報告（Oral）。該技術集成于達摩院自動駕駛算法庫，未來有望應用于末端物流無人車“小蠻驢”和自動駕駛卡車“大蠻驢”。

知識蒸餾是一種模型壓縮/模型訓練方法，指將訓練好的大模型（教師模型）的知識“蒸餾”提取到有待訓練的小模型（學生模型）中，讓小模型獲得與大模型相當?shù)姆夯芰?。大模型往往體積較大、部署成本高，小模型靈活小巧，能夠最大限度降低對計算資源的消耗。

CVPR 2022官網(wǎng)的論文分享

知識蒸餾是業(yè)界和學界的熱門研究課題。達摩院論文Knowledge Distillation via the Target-aware Transformer指出，以往的知識蒸餾方法，大多以一對一的空間匹配方式，將教師模型的特征提取到學生模型。但由于結構差異，大小模型在同一空間位置上的語義信息通常是不同的，這極大削弱了一對一蒸餾方法的基本假設。

論文提出一種新的基于transformer的一對多空間匹配方法，將教師模型特征的每個像素提取到學生模型特征的所有空間位置，通過參數(shù)相關性來衡量以學生特征和教師特征的表征成分為條件的語義距離，并對這種相關性進行建模。

在ImageNet、Pascal VOC和COCOS-tuff10k等基準測試中，新方法表現(xiàn)出色。如，針對ImageNet數(shù)據(jù)集的圖像分類任務，基于同一個學生模型（tiny ResNet18），新方法將模型的top-1準確率從70.04%提高到72.41%，顯著高于之前最優(yōu)蒸餾方法的71.61%。；針對COCO-Stuff10k上的語義分割任務，新方法將mobilenetv2結構的mIoU提高1.75%。

達摩院研發(fā)的物流無人車小蠻驢現(xiàn)已配送訂單超過1000萬

知識蒸餾方法廣泛應用于知識遷移、半監(jiān)督學習、計算機視覺等下游算法。自動駕駛技術團隊更關注其對線上模型性能的提升，讓小模型也能起大作用，論文作者于開丞介紹，“自動駕駛是個超級AI系統(tǒng)，每天都要處理海量的圖像、點云信息，算法性能關系到終端產(chǎn)品的智能性、安全性、可靠性，可以說，是工業(yè)實踐推動著技術創(chuàng)新?！?br>

據(jù)悉，達摩院研發(fā)的L4級自動駕駛產(chǎn)品小蠻驢現(xiàn)已落地超過500輛，在學校、社區(qū)等末端場景配送訂單超過1000萬。達摩院已啟動面向干線物流的無人卡車“大蠻驢”的研發(fā)。