本文經(jīng)AI新媒體量子位（公眾號(hào)ID:QbitAI）授權(quán)轉(zhuǎn)載，轉(zhuǎn)載請(qǐng)聯(lián)系出處。

訓(xùn)練神經(jīng)網(wǎng)絡(luò)，硬件要過硬？現(xiàn)在谷歌提出強(qiáng)有力反駁。

GPU和像谷歌TPU這樣的硬件加速器大大加快了神經(jīng)網(wǎng)絡(luò)的訓(xùn)練速度，推助AI迅速成長(zhǎng)，在各個(gè)領(lǐng)域發(fā)揮超能力。

然而，硬件發(fā)展再迅速，也總有力有不逮的時(shí)候。

比如，由于芯片的架構(gòu)方式，像數(shù)據(jù)預(yù)處理這樣的訓(xùn)練pipeline早期階段并不會(huì)受益于硬件加速器的提升。

谷歌大腦的科學(xué)家們可不希望看到算法掣肘硬件，于是他們研究出了一種名為“數(shù)據(jù)回放（Data Echoing）”的新技術(shù)。

加速神經(jīng)網(wǎng)絡(luò)訓(xùn)練速度，這回不靠折騰半導(dǎo)體。

Data Echoing的黑科技

新的加速方法的核心在于減少訓(xùn)練pipeline早期階段消耗的時(shí)間。

按照經(jīng)典的訓(xùn)練pipeline，AI系統(tǒng)先讀取并解碼輸入數(shù)據(jù)，然后對(duì)數(shù)據(jù)進(jìn)行混洗，應(yīng)用轉(zhuǎn)換擴(kuò)充數(shù)據(jù)，然后再將樣本收集到批處理中，迭代更新參數(shù)以減少誤差。

而Data Echoing是在pipeline中插入了一個(gè)階段，在參數(shù)更新之前重復(fù)前一階段的輸出數(shù)據(jù)，理論回收空閑算力。

如果重復(fù)數(shù)據(jù)的開銷可以忽略不計(jì)，并且echoing任意側(cè)的階段都是并行執(zhí)行的，那么數(shù)據(jù)回放完成一個(gè)上游步驟和e個(gè)下游步驟的平均時(shí)間就是：

假設(shè)上游步驟花費(fèi)的時(shí)間大于等于下游步驟花費(fèi)的時(shí)間，你會(huì)發(fā)現(xiàn)附加的下游步驟是“免費(fèi)”的，因?yàn)樗鼈兝昧丝臻e的下游容量。

data echoing縮短訓(xùn)練時(shí)間的關(guān)鍵在于上游步驟和下游步驟之間的權(quán)衡。

一方面，重復(fù)數(shù)據(jù)的價(jià)值可能會(huì)比新數(shù)據(jù)的價(jià)值低，那么data echoing就需要更多的下游SGD（隨機(jī)梯度下降）更新來(lái)達(dá)到預(yù)期性能。

另一方面，data echoing中每個(gè)下游步驟僅需要1/e個(gè)上游步驟。

如果下游步驟因回放因子而增加的數(shù)量比e小，那么上游步驟的總數(shù)就會(huì)減少，總的訓(xùn)練時(shí)間也就減少了。

需要注意的是，有兩個(gè)因素會(huì)影響在不同插入點(diǎn)處data echoing的表現(xiàn)：

在批處理前回放（echoing）

在批處理之前回放意味著數(shù)據(jù)是在樣本級(jí)別而不是批處理級(jí)別重復(fù)和混洗的，這增加了臨近批次不同的可能性，代價(jià)是批次內(nèi)可能會(huì)有重復(fù)的樣本。

在數(shù)據(jù)擴(kuò)增前回放

在數(shù)據(jù)增強(qiáng)之前進(jìn)行回放，重復(fù)數(shù)據(jù)就可能以不同的方式轉(zhuǎn)換，這樣一來(lái)重復(fù)數(shù)據(jù)就會(huì)更像新數(shù)據(jù)。

效果如何

研究團(tuán)隊(duì)對(duì)這一方法進(jìn)行了實(shí)驗(yàn)，他們選擇了兩個(gè)語(yǔ)言模型任務(wù)，兩個(gè)圖像識(shí)別任務(wù)和一個(gè)對(duì)象檢測(cè)任務(wù)，AI模型都是用開源數(shù)據(jù)集訓(xùn)練的。

實(shí)驗(yàn)中，“新”訓(xùn)練樣本（訓(xùn)練樣本從磁盤中被讀取出來(lái)，就算做一個(gè)新的樣本）的數(shù)目達(dá)到指定目標(biāo)的時(shí)間就算作訓(xùn)練的時(shí)長(zhǎng)。同時(shí)，研究人員也會(huì)調(diào)查data echoing是否減少了所需的樣本數(shù)量。

除了用ImageNet訓(xùn)練的ResNet-50，data echoing的效率都比基線方法效率高。并且更早地在pipeline中插入echoing，訓(xùn)練所需的新樣本會(huì)更少。

而隨著批量大小的增加，data echoing相對(duì)于基線方法的改進(jìn)會(huì)更加明顯。

摩爾定律的黃昏

隨著摩爾定律走向終結(jié)，要依靠芯片制造工藝的突破來(lái)實(shí)現(xiàn)人工智能算力的提升越來(lái)越困難，雖然有硬件加速器加持，但CPU這樣的通用處理器依然成為了神經(jīng)網(wǎng)絡(luò)訓(xùn)練速度進(jìn)一步提升的攔路虎。

另辟蹊徑，以算法性能來(lái)突破重圍，正在成為New sexy。

論文地址：https://arxiv.org/abs/1907.05550