神經(jīng)網(wǎng)絡(luò)模型訓(xùn)練最大的弊端在于需要大量的訓(xùn)練數(shù)據(jù)，而非監(jiān)督學(xué)習(xí)和自監(jiān)督學(xué)習(xí)則能很好地解決標(biāo)注的問題。

今年三月，F(xiàn)acebook AI Research和紐約大學(xué)的Yann LeCun聯(lián)手在arxiv上發(fā)布一篇關(guān)于自監(jiān)督學(xué)習(xí)的論文，提出模型Barlow Twins，這個(gè)名字來源于神經(jīng)科學(xué)家H. Barlow的redundancy-reduction原則。

近日這篇論文又在Reddit上掀起一陣討論熱潮，網(wǎng)友對(duì)LeCun的論文似乎有些不買賬。

自監(jiān)督學(xué)習(xí)

所謂自監(jiān)督，就是訓(xùn)練了，但沒有完全訓(xùn)練，用到的標(biāo)簽來源于自身，它與無監(jiān)督學(xué)習(xí)之間的界限逐漸模糊。

自監(jiān)督學(xué)習(xí)在NLP領(lǐng)域已經(jīng)取得了非常大的成就，BERT、GPT、XLNET等自監(jiān)督模型幾乎刷遍了NLP各大榜單，同時(shí)在工業(yè)界也帶來了很多的進(jìn)步。在CV領(lǐng)域，自監(jiān)督似乎才剛剛興起。

從Kaiming的MoCo和Hinton組Chen Ting的SimCLR，近兩年自監(jiān)督學(xué)習(xí)（SSL，self-supervised learning）在大佬們的推動(dòng)下取得了很大的成功。

何愷明一作的Moco模型發(fā)表在CVPR2020上，并且是Oral。文章核心思想是使用基于contrastive learning的方式自監(jiān)督的訓(xùn)練一個(gè)圖片表示器也就是編碼器，能更好地對(duì)圖片進(jìn)行編碼然后應(yīng)用到下游任務(wù)中。基于對(duì)比的自監(jiān)督學(xué)習(xí)最大的問題就是負(fù)樣本數(shù)量增大后會(huì)帶來計(jì)算開銷的增大，何愷明使用了基于隊(duì)列的動(dòng)態(tài)字典來存儲(chǔ)樣本，同時(shí)又結(jié)合了動(dòng)量更新編碼器的方式，解決了編碼器的快速變化會(huì)降低了鍵的表征一致性問題。MoCo在多個(gè)數(shù)據(jù)集上取得了最優(yōu)效果，縮小了監(jiān)督學(xué)習(xí)和無監(jiān)督學(xué)習(xí)之間的差距。

而Hinton組的SimCLR側(cè)重于同一張圖像的不同數(shù)據(jù)增強(qiáng)的方法，具體而言就是隨機(jī)采樣一個(gè)batch，對(duì)batch里每張圖像做兩種增強(qiáng)，可以認(rèn)為是兩個(gè)view；讓同一張圖的不同view在latent space里靠近，不同圖的view在latent space里遠(yuǎn)離，通過NT-Xent實(shí)現(xiàn)。

從AutoEncoder到語言模型，可以說是無標(biāo)簽的數(shù)據(jù)讓預(yù)訓(xùn)練模型取得驚人的成績(jī)，之后在有標(biāo)簽數(shù)據(jù)上的fine tune讓他有了應(yīng)用價(jià)值。

Barlow Twins

今年3月，arxiv上多了一篇Yann Lecun的論文。

CV領(lǐng)域的自監(jiān)督學(xué)習(xí)的最新成果總是向世人證明無需數(shù)據(jù)標(biāo)簽也可以達(dá)到有監(jiān)督的效果。目前自監(jiān)督學(xué)習(xí)主流的方法就是使網(wǎng)絡(luò)學(xué)習(xí)到輸入樣本不同失真(distortions)版本下的不變性特征（也稱為數(shù)據(jù)增強(qiáng)），但是這種方法很容易遭遇平凡解，現(xiàn)有方法大多是通過實(shí)現(xiàn)上的細(xì)節(jié)來避免出現(xiàn)collapse。

LeCun團(tuán)隊(duì)解釋說，這種方法經(jīng)常會(huì)出現(xiàn)瑣碎的常量表示形式，這些方法通常采用不同的機(jī)制和仔細(xì)的實(shí)現(xiàn)細(xì)節(jié)，以避免collapse的解決方案。Barlow Twins是解決此問題的目標(biāo)函數(shù)，它測(cè)量?jī)蓚€(gè)相同網(wǎng)絡(luò)的輸出特征之間的互相關(guān)矩陣，這些輸出饋送了失真的版本，以使其盡可能接近單位矩陣，同時(shí)最大程度地減少了相關(guān)向量分量之間的冗余。

這個(gè)方法受英國神經(jīng)科學(xué)家霍勒斯·巴洛（Horace Barlow）在1961年發(fā)表的文章中的啟發(fā)，Barlow Twins方法將「減少冗余」（一種可以解釋視覺系統(tǒng)組織的原理）應(yīng)用于自我監(jiān)督學(xué)習(xí)，也是感官信息轉(zhuǎn)化背后的潛在原理。

研究人員通過遷移學(xué)習(xí)將模型應(yīng)用到不同的數(shù)據(jù)集和計(jì)算機(jī)視覺任務(wù)來評(píng)估Barlow Twins的表示形式，還在圖像分類和對(duì)象檢測(cè)的任務(wù)上進(jìn)行試驗(yàn)，使用ImageNet ILSVRC-2012數(shù)據(jù)集上的自我監(jiān)督學(xué)習(xí)對(duì)網(wǎng)絡(luò)進(jìn)行了預(yù)訓(xùn)練。

結(jié)果表明，Barlow Twins在概念上更簡(jiǎn)單并且避免了瑣碎的參數(shù)，其性能優(yōu)于以前的自我監(jiān)督學(xué)習(xí)方法。研究人員認(rèn)為，所提出的方法只是應(yīng)用于SSL的信息瓶頸原理的一種可能實(shí)例，并且進(jìn)一步的算法改進(jìn)可能會(huì)導(dǎo)致更有效的解決方案。

Jing Li

靖禮是這篇論文的第二作者，本科被保送到北大物理學(xué)院，獲得了物理學(xué)學(xué)士學(xué)位和經(jīng)濟(jì)學(xué)學(xué)士學(xué)位，獲得了麻省理工學(xué)院的物理學(xué)博士學(xué)位。他在2010年贏得了第41屆國際中學(xué)生物理學(xué)奧林匹克競(jìng)賽金牌。

目前是Facebook AI Research（FAIR）的博士后研究員，與Yann LeCun一起研究自我監(jiān)督學(xué)習(xí)。

他的研究領(lǐng)域還包括表示學(xué)習(xí)，半監(jiān)督學(xué)習(xí)，多模式學(xué)習(xí)，科學(xué)AI。

他還是Lightelligence Inc.的聯(lián)合創(chuàng)始人，該公司生產(chǎn)光學(xué)AI計(jì)算芯片。

在企業(yè)技術(shù)領(lǐng)域，他被授予《福布斯》中國30位30歲以下人士。

而Yann LeCun是CNN之父，紐約大學(xué)終身教授，與Geoffrey Hinton、Yoshua Bengio并成為“深度學(xué)習(xí)三巨頭”。前Facebook人工智能研究院負(fù)責(zé)人，IJCV、PAMI和IEEE Trans 的審稿人，他創(chuàng)建了ICLR(International Conference on Learning Representations)會(huì)議并且跟Yoshua Bengio共同擔(dān)任主席。

1983年在巴黎ESIEE獲得電子工程學(xué)位，1987年在 Université P&M Curie 獲得計(jì)算機(jī)科學(xué)博士學(xué)位。1998年開發(fā)了LeNet5，并制作了被Hinton稱為“機(jī)器學(xué)習(xí)界的果蠅”的經(jīng)典數(shù)據(jù)集MNIST。2014年獲得了IEEE神經(jīng)網(wǎng)絡(luò)領(lǐng)軍人物獎(jiǎng)，2019榮獲圖靈獎(jiǎng)。

大牛也會(huì)出錯(cuò)？

Yann LeCun可謂是深度學(xué)習(xí)界的大牛，但同樣要遭受質(zhì)疑。

有網(wǎng)友評(píng)價(jià)這篇論文是完全沒意義的，這篇論文中提出的方法只有在特定條件下才好用，并且仍然需要大規(guī)模計(jì)算資源。

并且隨著batch size的增加，效果下降了，但是為什么？

還有說圖1就是錯(cuò)的，損失函數(shù)也是無意義的。

知乎網(wǎng)友討論中也有認(rèn)為Barlow Twins只是整合了自監(jiān)督學(xué)習(xí)的技巧，如增加batch size、增加訓(xùn)練時(shí)間、交替迭代、predictor機(jī)制、stop gradient等這些技巧層面的工作，學(xué)習(xí)過程則是讓互相關(guān)矩陣與單位陣要盡可能接近。

對(duì)此你怎么看？