谷歌新模型刷新ImageNet紀(jì)錄，第一作者是上海交大畢業(yè)生
本文經(jīng)AI新媒體量子位（公眾號(hào)ID:QbitAI）授權(quán)轉(zhuǎn)載，轉(zhuǎn)載請(qǐng)聯(lián)系出處。
谷歌的EfficientNet進(jìn)化之后，又刷新了ImageNet紀(jì)錄。
這個(gè)叫Noisy Student的新模型，將ImageNet圖像分類的top-1準(zhǔn)確率提高到了87.4%，比此前最好的FixResNetXt-101 32×48d高出了1個(gè)百分點(diǎn)。
更令人驚嘆的是，在ResNeXt-101 32×48d只達(dá)到了16.6%top-1準(zhǔn)確率的ImageNet-A測(cè)試集上，Noisy Student一舉將準(zhǔn)確率提高到了74.2%。
新模型來自谷歌大腦首席科學(xué)家Quoc V. Le的團(tuán)隊(duì)，而論文第一作者，則是畢業(yè)于上海交大ACM班的謝其哲，目前正在CMU攻讀博士，是谷歌大腦的學(xué)生研究員。
實(shí)現(xiàn)方法
提升如此明顯，但方法卻并不復(fù)雜。Noisy Student是站在了EfficientNet這位“名師”的肩膀上。
第一步，是用ImageNet中帶標(biāo)簽的圖像訓(xùn)練EfficientNet。
EfficientNet是谷歌開源的縮放模型，基于AutoML開發(fā)， 初登場(chǎng)就刷新了ImageNet的紀(jì)錄，準(zhǔn)確度為84.4%（top-1）和97.1%（top-5），并且模型更小更快，效率提升達(dá)10倍之多。
對(duì)于這一模型，量子位做過詳細(xì)的解讀：https://mp.weixin.qq.com/s/DCRpBUJE98ckZnrouuVo6Q
第二步，在一個(gè)更大規(guī)模的數(shù)據(jù)集上，用EfficientNet給無標(biāo)簽圖片打上偽標(biāo)簽。
這一步中，研究人員選擇的是谷歌的JFT數(shù)據(jù)集。這一數(shù)據(jù)集擁有300M圖片，是ImageNet的300倍。
然后，將有標(biāo)簽的圖像和被打上偽標(biāo)簽的圖像組合起來，訓(xùn)練一個(gè)更大的學(xué)生模型。
新的學(xué)生模型又會(huì)成為新的老師，迭代這一過程。
在生成偽標(biāo)簽的過程中，教師模型不會(huì)被噪聲干擾，以便提高偽標(biāo)簽的置信度。
但學(xué)生模型在訓(xùn)練的過程中，會(huì)面臨來自隨機(jī)深度、dropout和RandAugment帶來的噪聲干擾。這就迫使學(xué)生模型不得不從偽標(biāo)簽中進(jìn)行學(xué)習(xí)。
在訓(xùn)練的過程中，EfficientNet也會(huì)不斷更新。其中，最大的模型EfficientNet-L2需要在2048核的Cloud TPU v3 Pod上訓(xùn)練3.5天。
性能表現(xiàn)
開頭已經(jīng)提到，這個(gè)新的Noisy Student模型再一次刷新了ImageNet的紀(jì)錄，現(xiàn)在來看看它的具體戰(zhàn)績：
在top-1準(zhǔn)確率上，EfficientNet和Noisy Student的組合將最佳成績提高了1個(gè)百分點(diǎn)，并且模型的參數(shù)規(guī)模遠(yuǎn)小于Facebook的FixResNetXt-101 32×48d。
而在更加嚴(yán)格測(cè)試集上，Noisy Student的進(jìn)步更為顯著。
ImageNet-A測(cè)試集包含7500個(gè)自然對(duì)抗樣本，會(huì)導(dǎo)致SOTA模型的準(zhǔn)確率大大下降。比如來自Facebook的知名選手ResNeXt-101 32×48d，就只能達(dá)到16.6%的top-1準(zhǔn)確率。
在這個(gè)基準(zhǔn)當(dāng)中，Noisy Student一舉將top-1準(zhǔn)確率從16.6%提高到了74.2%。
Image-C和Image-P測(cè)試集則包含了模糊、霧化、旋轉(zhuǎn)和縮放過的圖像。換句話說，測(cè)試圖像完全不同于模型的訓(xùn)練數(shù)據(jù)。
在ImageNet-C上，Noisy Student將平均錯(cuò)誤率從45.7降到了31.2。
在ImageNet-P上，Noisy Student將平均翻轉(zhuǎn)率從27.8降到了16.2。
也就是說，這個(gè)新模型不僅準(zhǔn)確率又進(jìn)一步，在魯棒性上，更是實(shí)現(xiàn)了驚人的進(jìn)步。
根據(jù)論文作者介紹，模型代碼將盡快釋出，不妨先mark一下~
傳送門
論文地址：
https://arxiv.org/abs/1911.04252
