摘要

像點(diǎn)擊率預(yù)估這樣的在線實(shí)時響應(yīng)系統(tǒng)對響應(yīng)時間要求非常嚴(yán)格，結(jié)構(gòu)復(fù)雜，層數(shù)很深的深度模型不能很好的滿足嚴(yán)苛的響應(yīng)時間的限制。為了獲得滿足響應(yīng)時間限制的具有優(yōu)良表現(xiàn)的模型，我們提出了一個新型框架：訓(xùn)練階段，同時訓(xùn)練繁簡兩個復(fù)雜度有明顯差異的網(wǎng)絡(luò)，簡單的網(wǎng)絡(luò)稱為輕量網(wǎng)絡(luò)（light net），復(fù)雜的網(wǎng)絡(luò)稱為助推器網(wǎng)絡(luò)（booster net），相比前者，有更強(qiáng)的學(xué)習(xí)能力。兩網(wǎng)絡(luò)共享部分參數(shù)，分別學(xué)習(xí)類別標(biāo)記，此外，輕量網(wǎng)絡(luò)通過學(xué)習(xí)助推器的soft target來模仿助推器的學(xué)習(xí)過程，從而得到更好的訓(xùn)練效果。測試階段，僅采用輕量網(wǎng)絡(luò)進(jìn)行預(yù)測。我們的方法被稱作“火箭發(fā)射”系統(tǒng)。在公開數(shù)據(jù)集和阿里巴巴的在線展示廣告系統(tǒng)上，我們的方法在不提高在線響應(yīng)時間的前提下，均提高了預(yù)測效果，展現(xiàn)了其在在線模型上應(yīng)用的巨大價值。

研究背景   

響應(yīng)時間直接決定在線響應(yīng)系統(tǒng)的效果和用戶體驗(yàn)。比如在線展示廣告系統(tǒng)中，針對一個用戶，需要在幾ms內(nèi)，對上百個候選廣告的點(diǎn)擊率進(jìn)行預(yù)估。因此，如何在嚴(yán)苛的響應(yīng)時間內(nèi)，提高模型的在線預(yù)測效果，是工業(yè)界面臨的一個巨大問題。

已有方法介紹

目前有2種思路來解決模型響應(yīng)時間的這個問題：

一方面，可以在固定模型結(jié)構(gòu)和參數(shù)的情況下，用計(jì)算數(shù)值壓縮來降低inference時間，同時也有設(shè)計(jì)更精簡的模型以及更改模型計(jì)算方式的工作，如Mobile Net和ShuffleNet等工作；

另一方面，利用復(fù)雜的模型來輔助一個精簡模型的訓(xùn)練，測試階段，利用學(xué)習(xí)好的小模型來進(jìn)行推斷，如KD, MIMIC。這兩種方案并不沖突，在大多數(shù)情況下第二種方案可以通過第一種方案進(jìn)一步降低inference時間，同時，考慮到相對于嚴(yán)苛的在線響應(yīng)時間，我們有更自由的訓(xùn)練時間，有能力訓(xùn)練一個復(fù)雜的模型，所以我們采用第二種思路，來設(shè)計(jì)了我們的方法。

研究動機(jī)及創(chuàng)新性

火箭發(fā)射過程中，初始階段，助推器和飛行器一同前行，第二階段，助推器剝離，飛行器獨(dú)自前進(jìn)。在我們的框架中，訓(xùn)練階段，有繁簡兩個網(wǎng)絡(luò)一同訓(xùn)練，復(fù)雜的網(wǎng)絡(luò)起到助推器的作用，通過參數(shù)共享和信息提供推動輕量網(wǎng)絡(luò)更好的訓(xùn)練；在預(yù)測階段，助推器網(wǎng)絡(luò)脫離系統(tǒng)，輕量網(wǎng)絡(luò)獨(dú)自發(fā)揮作用，從而在不增加預(yù)測開銷的情況下，提高預(yù)測效果。整個過程與火箭發(fā)射類似，所以我們命名該系統(tǒng)為“火箭發(fā)射”。

訓(xùn)練方式創(chuàng)新

我們框架的創(chuàng)新在于它新穎的訓(xùn)練方式：

1.    繁簡兩個模型協(xié)同訓(xùn)練，協(xié)同訓(xùn)練有以下好處：

a)    一方面，縮短總的訓(xùn)練時間：相比傳統(tǒng)teacer-student范式中，teacher網(wǎng)絡(luò)和student網(wǎng)絡(luò)先后分別訓(xùn)練，我們的協(xié)同訓(xùn)練過程減少了總的訓(xùn)練時間，這對在線廣告系統(tǒng)這樣，每天獲得大量訓(xùn)練數(shù)據(jù)，不斷更新模型的場景十分有用。

b)    另一方面，助推器網(wǎng)絡(luò)全程提供soft target信息給輕量網(wǎng)絡(luò)，從而達(dá)到指導(dǎo)輕量網(wǎng)絡(luò)整個求解過程的目的，使得我們的方法，相比傳統(tǒng)方法，獲得了更多的指導(dǎo)信息，從而取得更好的效果。

2.    采用梯度固定技術(shù)：

訓(xùn)練階段，限制兩網(wǎng)絡(luò)soft target相近的loss，只用于輕量網(wǎng)絡(luò)的梯度更新，而不更新助推器網(wǎng)絡(luò)，從而使得助推器網(wǎng)絡(luò)不受輕量網(wǎng)絡(luò)的影響，只從真實(shí)標(biāo)記中學(xué)習(xí)信息。這一技術(shù)，使得助推器網(wǎng)絡(luò)擁有更強(qiáng)的自由度來學(xué)習(xí)更好的模型，而助推器網(wǎng)絡(luò)效果的提升，也會提升輕量網(wǎng)絡(luò)的訓(xùn)練效果。

結(jié)構(gòu)創(chuàng)新

助推器網(wǎng)絡(luò)和輕量網(wǎng)絡(luò)共享部分層的參數(shù)，共享的參數(shù)可以根據(jù)網(wǎng)絡(luò)結(jié)構(gòu)的變化而變化。一般情況下，兩網(wǎng)絡(luò)可以共享低層。在神經(jīng)網(wǎng)絡(luò)中，低層可以用來學(xué)習(xí)信息表示，低層網(wǎng)絡(luò)的共享，可以幫助輕量網(wǎng)絡(luò)獲得更好的信息表示能力。

方法框架：

圖1：網(wǎng)絡(luò)結(jié)構(gòu)

如圖1所示，訓(xùn)練階段，我們同時學(xué)習(xí)兩個網(wǎng)絡(luò)：Light Net 和Booster Net, 兩個網(wǎng)絡(luò)共享部分信息。我們把大部分的模型理解為表示層學(xué)習(xí)和判別層學(xué)習(xí)，表示層學(xué)習(xí)的是對輸入信息做一些高階處理，而判別層則是和當(dāng)前子task目標(biāo)相關(guān)的學(xué)習(xí)，我們認(rèn)為表示層的學(xué)習(xí)是可以共享的，如multi task learning中的思路。所以在我們的方法里，共享的信息為底層參數(shù)（如圖像領(lǐng)域的前幾個卷積層，NLP中的embedding）， 這些底層參數(shù)能一定程度上反應(yīng)了對輸入信息的基本刻畫。

整個訓(xùn)練過程，網(wǎng)絡(luò)的loss如下：

Loss包含三部分：第一項(xiàng)，為light net對ground truth的學(xué)習(xí)，第二項(xiàng)，為booster net對ground truth的學(xué)習(xí)，第三項(xiàng)，為兩個網(wǎng)絡(luò)softmax之前的logits的均方誤差（MSE），該項(xiàng)作為hint loss, 用來使兩個網(wǎng)絡(luò)學(xué)習(xí)得到的logits盡量相似。

Co-Training

兩個網(wǎng)絡(luò)一起訓(xùn)練，從而booster net 會全程監(jiān)督輕量網(wǎng)絡(luò)的學(xué)習(xí)，一定程度上，booster net指導(dǎo)了light net整個求解過程，這與一般的teacher-student 范式下，學(xué)習(xí)好大模型，僅用大模型固定的輸出作為soft target來監(jiān)督小網(wǎng)絡(luò)的學(xué)習(xí)有著明顯區(qū)別，因?yàn)閎ooster net的每一次迭代輸出  雖然不能保證對應(yīng)一個和label非常接近的預(yù)測值，但是到達(dá)這個解之后有利于找到最終收斂的解  。

Hint Loss

Gradient Block

實(shí)驗(yàn)結(jié)果

實(shí)驗(yàn)方面，我們驗(yàn)證了方法中各個子部分的必要性。同時在公開數(shù)據(jù)集上，我們還與幾個teacher-student方法進(jìn)行對比，包括Knowledge Distillation(KD), Attention Transfer(AT)。為了與目前效果出色的AT進(jìn)行公平比較，我們采用了和他們一致的網(wǎng)絡(luò)結(jié)構(gòu)寬殘差網(wǎng)絡(luò)（WRN）。實(shí)驗(yàn)網(wǎng)絡(luò)結(jié)構(gòu)如下：

圖2：實(shí)驗(yàn)所用網(wǎng)絡(luò)結(jié)構(gòu)

紅色+黃色表示light net, 藍(lán)色+紅色表示booster net。(a)表示兩個網(wǎng)絡(luò)共享最底層的block，符合我們一般的共享結(jié)構(gòu)的設(shè)計(jì)。(b)表示兩網(wǎng)絡(luò)共享每個group最底層的block，該種共享方式和AT在每個group之后進(jìn)行attention transfer的概念一致。

各創(chuàng)新點(diǎn)的效果

我們通過各種對比實(shí)驗(yàn)，驗(yàn)證了參數(shù)共享和梯度固定都能帶來效果的提升

各種LOSS效果比較

輕量網(wǎng)絡(luò)層數(shù)變化效果圖 

固定booster net, 改變light net的層數(shù)，rocket launching始終取得比KD要好的表現(xiàn)，這表明，light net始終能從booster net中獲取有價值的信息。

可視化效果

通過可視化實(shí)驗(yàn)，我們觀察到，通過我們的方法，light net能學(xué)到booster net的底層group的特征表示。

公開數(shù)據(jù)集效果比較

除了自身方法效果的驗(yàn)證，在公開數(shù)據(jù)集上，我們也進(jìn)行了幾組實(shí)驗(yàn)。

在CIFAR-10上, 我們嘗試不同的網(wǎng)絡(luò)結(jié)構(gòu)和參數(shù)共享方式，我們的方法均顯著優(yōu)于已有的teacher-student的方法。在多數(shù)實(shí)驗(yàn)設(shè)置下，我們的方法疊加KD，效果會進(jìn)一步提升

這里WRN-16-1,0.2M 表示wide residual net, 深度為16，寬度為1，參數(shù)量為0.2M.

同時在CIFAR-100和SVHN上，取得了同樣優(yōu)異的表現(xiàn)

真實(shí)應(yīng)用

同時，在阿里展示廣告數(shù)據(jù)集上，我們的方法，相比單純跑light net, 可以將GAUC提升0.3%.

我們的線上模型在后面的全連接層只要把參數(shù)量和深度同時調(diào)大，就能有一個提高，但是在線的時候有很大一部分的計(jì)算耗時消耗在全連接層(embedding 只是一個取操作，耗時隨參數(shù)量增加并不明顯)，所以后端一個深而寬的模型直接上線壓力會比較大。表格里列出了我們的模型參數(shù)對比以及離線的效果對比：

總結(jié)

在線響應(yīng)時間對在線系統(tǒng)至關(guān)重要。本文提出的火箭發(fā)射式訓(xùn)練框架，在不提高預(yù)測時間的前提下，提高了模型的預(yù)測效果。為提高在線響應(yīng)模型效果提供了新思路。目前Rocket Launching的框架為在線CTR預(yù)估系統(tǒng)弱化在線響應(yīng)時間限制和模型結(jié)構(gòu)復(fù)雜化的矛盾提供了可靠的解決方案，我們的技術(shù)可以做到在線計(jì)算被壓縮8倍的情況下性能不變。在日?？梢詼p少我們的在線服務(wù)機(jī)器資源消耗，雙十一這種高峰流量場景更是保障算法技術(shù)不降級的可靠方案。

來源

《Rocket Launching: A Universal and Efficient Framework for Training Well-performing Light Net》

團(tuán)隊(duì)名稱：阿里媽媽事業(yè)部

作者：周國睿、范穎、卞維杰、朱小強(qiáng)、蓋坤

完整版點(diǎn)擊：PDF