神經(jīng)科學(xué)會(huì)成為人工智能「超進(jìn)化」的關(guān)鍵嗎？

　　在深度學(xué)習(xí)和深度神經(jīng)網(wǎng)絡(luò)火遍天下的今天，離不開對(duì)大腦的研究。

　　雖然我們還未探究清楚大腦如何工作，但這樣的大腦結(jié)構(gòu)確實(shí)可以產(chǎn)生「智能」。

　　只要模擬它，神經(jīng)網(wǎng)絡(luò)就可以獲得相似或相同的智能。真正能夠?qū)W習(xí)人類的矩陣或許就在不遠(yuǎn)處。

　　近日，神經(jīng)科學(xué)家 Patrick Mineault 就 2021 年無監(jiān)督學(xué)習(xí)的大腦模型做了總結(jié)回顧。

　　神經(jīng)人工智能（neuro-AI）研究中最有說服力的發(fā)現(xiàn)之一是，訓(xùn)練人工神經(jīng)網(wǎng)絡(luò)執(zhí)行匹配大腦中單個(gè)神經(jīng)元和集合信號(hào)的相關(guān)任務(wù)。

　　一個(gè)典型的例子就是腹側(cè)流（ventral stream），DNNs 在 ImageNet 上訓(xùn)練進(jìn)行對(duì)象識(shí)別。

　　監(jiān)督和任務(wù)優(yōu)化網(wǎng)絡(luò)連接兩個(gè)重要的解釋形式: 生態(tài)相關(guān)性和神經(jīng)活動(dòng)可解釋性。

　　「What can 5.17 billion regression fits tell us about artificial models of the human visual system? 」這篇論文便回答了大腦區(qū)域是用來做什么這一問題。

　　然而，正如 Jess Thompson 指出的那樣，這不是唯一的解釋形式。

　　特別是，任務(wù)優(yōu)化網(wǎng)絡(luò)通常在生物學(xué)上被認(rèn)為是不合理的，因?yàn)閭鹘y(tǒng)的 ImageNet 訓(xùn)練會(huì)使用 1M 圖像。

　　即便是為了讓嬰兒識(shí)別一項(xiàng)任務(wù)，他們必須每 5 秒接受一個(gè)新的監(jiān)督標(biāo)簽，例如父母指著一只鴨子對(duì)孩子說「鴨子」，每天 3 小時(shí)，持續(xù)一年以上。

　　那對(duì)于非人類的靈長類動(dòng)物和老鼠又是怎樣的一種情況？因此，尋找與人類大腦相匹配的生物學(xué)上相似的神經(jīng)網(wǎng)絡(luò)研究仍在繼續(xù)。

　　Jess Thompson 的神經(jīng)人工智能假說空間

自監(jiān)督訓(xùn)練方法有哪些

　　今年，我們已經(jīng)看到無監(jiān)督訓(xùn)練方面取得很大進(jìn)展，逐漸替代了自監(jiān)督訓(xùn)練的一些方法。

　　自監(jiān)督訓(xùn)練的一些方法如下:

　　·無監(jiān)督學(xué)習(xí)旨在表示數(shù)據(jù)分布。該領(lǐng)域最常用的技術(shù)之一是變分自編碼器 （VAE）。

　　·自監(jiān)督訓(xùn)練旨在通過解決代理任務(wù)來找到良好的數(shù)據(jù)表示。如今，語言模型幾乎普遍使用自監(jiān)督訓(xùn)練，比如 BERT 和 GPT-3。

　　·對(duì)比學(xué)習(xí)是自監(jiān)督學(xué)習(xí)的一種特殊形式，其代理任務(wù)是預(yù)測樣本是來自正面還是負(fù)面（或干擾項(xiàng)）。對(duì)比學(xué)習(xí)有很多不同的風(fēng)格：MoCo、InfoNCE、SimCLR、CPC 等。也有一些密切相關(guān)的非對(duì)比方法可以消除負(fù)樣本，包括 BYOL 和 BarlowTwins。

　　·多模態(tài)學(xué)習(xí)是自監(jiān)督訓(xùn)練的另一種特殊形式，其目的是通過預(yù)測兩種不同的模態(tài)（如視覺、文本、音頻等）的共同子空間，或者預(yù)測一個(gè)模態(tài)共同的子空間。CLIP 便是一個(gè)典型的例子。

　　所有這些方法都允許我們?cè)诓恍枰O(jiān)督情況下學(xué)習(xí)表示。其實(shí)，自監(jiān)督和無監(jiān)督方法相結(jié)合比只使用監(jiān)督方法在生物學(xué)上更合理。

　　就此，Mineault 回顧了今年 MAIN、NeurIPS、CCN 會(huì)議，以及其他預(yù)印本，并做出了一份關(guān)于無監(jiān)督學(xué)習(xí)的大腦模型總結(jié)。

　　Unsupervised neural network models of the ventral visual stream

　　這篇論文剛剛發(fā)表在 PNAS 頂刊上，引用量已超過 60。

　　論文地址：https://www.pnas.org/content/118/3/e2014196118

　　作者發(fā)現(xiàn)，無監(jiān)督和自監(jiān)督方法學(xué)習(xí)的表征與腹側(cè)流（V1，V4，IT）神經(jīng)元實(shí)現(xiàn)方式一致。論文摘要指出:

　　靈長類動(dòng)物顯示出非凡的識(shí)別能力。這種能力是通過腹側(cè)視覺流實(shí)現(xiàn)的，腹側(cè)流是多個(gè)等級(jí)相互關(guān)聯(lián)的大腦區(qū)域。這些領(lǐng)域最好的定量模型是經(jīng)過人工標(biāo)記訓(xùn)練的深層神經(jīng)網(wǎng)絡(luò)。

　　然而，這些模型需要比嬰兒接收到更多的標(biāo)記，使他們無法實(shí)現(xiàn)腹側(cè)流發(fā)展模式。

　　最近，在無監(jiān)督學(xué)習(xí)取得的進(jìn)展在很大程度上彌補(bǔ)了這一差距。我們發(fā)現(xiàn)，用最新的無監(jiān)督學(xué)習(xí)的神經(jīng)網(wǎng)絡(luò)在腹側(cè)流中獲得的預(yù)測精度等于或超過當(dāng)今最好的模型。

　　這些結(jié)果說明了使用無監(jiān)督學(xué)習(xí)來建立大腦系統(tǒng)的模型，并為感官學(xué)習(xí)計(jì)算理論提供了一個(gè)強(qiáng)有力的備選方案。

　　特別是，作者發(fā)現(xiàn) SimCLR 和其他對(duì)比學(xué)習(xí)方法幾乎可以像監(jiān)督學(xué)習(xí)方法一樣解釋腹側(cè)神經(jīng)元。

　　訓(xùn)練模型時(shí)標(biāo)簽不是必要的，這篇論文是一個(gè)非常強(qiáng)有力的證明。

　　Beyond category-supervision:

　　Computational support for domain-general pressures guiding human visual system representation

　　論文地址：https://www.biorxiv.org/content/10.1101/2020.06.15.153247v3

　　Konkle and Alvarez 在論文提出了一個(gè)與 Zhuang 等人論文類似的問題:

　　腹側(cè)信息流是否可以由一個(gè)不經(jīng)過監(jiān)督式學(xué)習(xí)訓(xùn)練的網(wǎng)絡(luò)來解釋？他們使用功能磁共振成像而不是單個(gè)神經(jīng)元的記錄來評(píng)估這一點(diǎn)。他們發(fā)現(xiàn)結(jié)果與 Zhuang 的文章大體一致，并且有著自己獨(dú)特的實(shí)例——對(duì)比自我監(jiān)督，以及其他類似的解釋 fMRI 數(shù)據(jù)的結(jié)果。

　　Your head is there to move you around: Goal-driven models of the primate dorsal pathway

　　這篇論文便是由神經(jīng)科學(xué)家 Patrick Mineault 撰寫，已在 2021NeurIPS 發(fā)表。

　　正如作者之前所討論的，腹側(cè)神經(jīng)元對(duì)形狀是有選擇性的。然而，視覺皮層輸出的訊息會(huì)傳送到兩個(gè)渠道，一個(gè)是腹側(cè)流，另一個(gè)便是背側(cè)流，這是怎么回事？作者通過比較許多自監(jiān)督的 3D 網(wǎng)絡(luò)和不同的背側(cè)流區(qū)域，發(fā)現(xiàn)它們不能解釋非人靈長類動(dòng)物單個(gè)神經(jīng)元的反應(yīng)。

　　論文地址：https://your-head-is-there-to-move-you-around.netlify.app/

　　因此， Mineault 草擬了一個(gè)代理任務(wù)，世界上有生命的生物必須根據(jù)落在它的視網(wǎng)膜上的圖像模式來確定它自身運(yùn)動(dòng)的參數(shù)。

　　由此產(chǎn)生的網(wǎng)絡(luò)看起來很像背側(cè)流，這在定性和定量上都是真實(shí)的。目前，該模型的訓(xùn)練是有監(jiān)督的，但從智能體的角度來看，它是自監(jiān)督的多模態(tài)學(xué)習(xí): 智能體從另一個(gè)模態(tài) （視覺） 中學(xué)習(xí)預(yù)測其自運(yùn)動(dòng)的參數(shù) （前庭，傳出拷貝），這在生物學(xué)上可能是合理的。 

視覺皮層的功能

　　視覺皮層的功能特殊化于通過自我監(jiān)督的預(yù)測學(xué)習(xí)訓(xùn)練有著異曲同工之妙。

　　項(xiàng)目主頁：https://ventral-dorsal-model.netlify.app/

　　Bakhtiari 等人 2021 年的兩篇論文都獲得了 NeurIPS spotlights。

　　Bakhtiari 認(rèn)為無論是人類、非人靈長類還是老鼠，哺乳動(dòng)物的視覺單元都有背側(cè)和腹側(cè)流。

　　那么，用人工神經(jīng)網(wǎng)絡(luò)能解釋這兩者嗎？

　　Shahab 通過在電影片段上訓(xùn)練對(duì)比預(yù)測編碼（CPC）網(wǎng)絡(luò)，發(fā)現(xiàn)如果神經(jīng)網(wǎng)絡(luò)包含兩條獨(dú)立的平行路徑，神經(jīng)網(wǎng)絡(luò)會(huì)自發(fā)地形成背側(cè)和腹側(cè)流。

　　背側(cè)流路徑與小鼠背側(cè)區(qū)域匹配良好，而腹側(cè)流與小鼠腹側(cè)流匹配良好。

　　另一方面，經(jīng)過監(jiān)督訓(xùn)練的網(wǎng)絡(luò)，或者只有一條通路的網(wǎng)絡(luò)，就無法與老鼠的大腦相匹配。

淺層無監(jiān)督模型

　　研究人員最近發(fā)現(xiàn)淺層無監(jiān)督模型最能預(yù)測小鼠視覺皮層的神經(jīng)反應(yīng)。

　　論文地址：https://www.biorxiv.org/content/10.1101/2021.06.16.448730v2.full.pdf

　　Nayebi 等人 2021 年的論文表示深層神經(jīng)網(wǎng)絡(luò)是受靈長類動(dòng)物的視覺皮層啟發(fā)而開發(fā)的偉大模型，但對(duì)老鼠來說就不那么適用了。

　　他們使用老鼠的視覺皮層數(shù)據(jù)（靜態(tài)圖像），并將其與不同架構(gòu)的監(jiān)督和自我監(jiān)督網(wǎng)絡(luò)進(jìn)行比較。

　　一個(gè)有趣的發(fā)現(xiàn)是，具有平行分支的淺層網(wǎng)絡(luò)能更好地解釋老鼠視覺皮層的數(shù)據(jù)。這證實(shí)了 Shahab 的發(fā)現(xiàn)。

　　Nayebi 團(tuán)隊(duì)提出的論點(diǎn)是，老鼠的視覺大腦是一個(gè)淺層的「通用」視覺機(jī)器，面對(duì)各種任務(wù)都能勝任，不像人類大腦中的深層神經(jīng)網(wǎng)絡(luò)，只對(duì)某一個(gè)任務(wù)特別精通。

　　Conwell 團(tuán)隊(duì)在 NeurIPS 2021 發(fā)表了另一篇關(guān)于小鼠視覺皮層自我監(jiān)督學(xué)習(xí)的論文，并得出了與前兩篇論文一致的結(jié)論。

　　論文地址：https://proceedings.neurips.cc/paper/2021/file/2c29d89cc56cdb191c60db2f0bae796b-Paper.pdf

超越人類

　　Geirhos 等人在 NeurIPS 2021 的論文表明，人類非常擅長在失真情況（例如噪聲、對(duì)比度變化、旋轉(zhuǎn)等）下對(duì)圖像進(jìn)行分類。

　　論文地址：https://arxiv.org/pdf/2106.07411.pdf

　　在這篇論文中，他們發(fā)現(xiàn)，新的自我監(jiān)督和多模態(tài)模型在進(jìn)行圖像分類任務(wù)時(shí)，魯棒性已經(jīng)和人類不相上下。

　　其背后的一個(gè)重要因素是訓(xùn)練網(wǎng)絡(luò)用了多少數(shù)據(jù)：用更多數(shù)據(jù)訓(xùn)練的模型更魯棒。

　　那是因?yàn)樾履Ｐ蛯?duì)紋理不太敏感，而對(duì)形狀更敏感，這也就意味著它們似乎走了更少的捷徑。當(dāng)然，新模型仍然會(huì)犯明顯的錯(cuò)誤。

多模態(tài)神經(jīng)網(wǎng)絡(luò)

　　論文地址：https://openreview.net/pdf?id=6dymbuga7nL

　　Choksi 團(tuán)隊(duì)在 2021 年 SVHRM 研討會(huì)上提出，人類大腦的海馬體包含多模態(tài)的「概念細(xì)胞」(例如詹妮弗·安妮斯頓細(xì)胞)，它們會(huì)對(duì)概念或圖像的文本表示做出反應(yīng)。

　　有趣的是，CLIP 也是這樣做的。

　　事實(shí)上在這篇論文中，作者利用公開的功能磁共振成像數(shù)據(jù)表明，多模態(tài)網(wǎng)絡(luò)，包括 CLIP，最能解釋大腦海馬體的數(shù)據(jù)。

無監(jiān)督深度學(xué)習(xí)

　　Storrs 等人發(fā)表在《Nature Human Behaviour》的論文介紹了他們使用無監(jiān)督學(xué)習(xí)預(yù)測人類對(duì)光澤的感知。

　　他們?cè)谝唤M紋理上訓(xùn)練 pixel-VAE，并尋找 pixel-VAE 與人類感知物體表面的方式的相似之處。他們發(fā)現(xiàn)，VAE 很自然地將不同的紋理組成因素進(jìn)行解耦，這一點(diǎn)非常符合人類的感知方式。

　　此外，他們發(fā)現(xiàn)經(jīng)過監(jiān)督學(xué)習(xí)的網(wǎng)絡(luò)在這項(xiàng)任務(wù)上的表現(xiàn)反而不盡如人意。

 論文地址：https://www.nature.com/articles/s41562-021-01097-6.pdf

　　今年，研究人員在將無監(jiān)督和自監(jiān)督模型與大腦匹配方面取得了巨大進(jìn)步。它們可以更好地匹配大腦數(shù)據(jù)，還可以在沒有標(biāo)簽的情況下進(jìn)行訓(xùn)練。

　　自監(jiān)督為沒有人工標(biāo)簽的學(xué)習(xí)打開了大門，但最新的模型經(jīng)常需要大量的數(shù)據(jù)來進(jìn)行訓(xùn)練。例如，GPT-3 基本上學(xué)習(xí)了人類積累的所有文本（大約 5000 億個(gè) token）。

　　相比之下，在最健談的家庭里，孩子五歲時(shí)也就會(huì)接觸到約 3000 萬個(gè)單詞。

　　所以，即使 GPT-3 是一種看似合理的語言習(xí)得和表征機(jī)制，但與人類大腦相比，效率仍然相差 4 個(gè)數(shù)量級(jí)。

　　PS：作者還在更新哦！

作者介紹

　　Patrick Mineault 是一名獨(dú)立神經(jīng)科學(xué)家，此前，曾在 Facebook 擔(dān)任 BCI 工程師，還有谷歌的軟件工程師和數(shù)據(jù)科學(xué)家。 

　　個(gè)人主頁：https://xcorr.net/about/

　　目前，他聯(lián)合創(chuàng)辦了 Neuromatch Academy 這家公司，并擔(dān)任 CTO 一職。

　　Mineault 曾在 McGill 獲得了視覺神經(jīng)科學(xué)博士學(xué)位，并在 UCLA 完成了博士后。在 Facebook 工作那段時(shí)間，他曾構(gòu)建了一個(gè) BCI，能夠通過大腦實(shí)現(xiàn)打字。 

　　LeCun 和 Jeff Dean 就 Patrick Mineault 對(duì)過去一年無監(jiān)督大腦模型的研究回顧進(jìn)行了點(diǎn)評(píng)。

　　「Nice！但是 BYOL、Barlow Twins 和 VICReg 是用于訓(xùn)練聯(lián)合嵌入架構(gòu)的「非對(duì)比」方法?！?nbsp;

　　谷歌大牛 Jeff Dean 表示，這是 2021 年關(guān)于神經(jīng)科學(xué)無監(jiān)督學(xué)習(xí)和自監(jiān)督學(xué)習(xí)一些非常棒的工作。