本文經(jīng)AI新媒體量子位（公眾號ID:QbitAI）授權轉(zhuǎn)載，轉(zhuǎn)載請聯(lián)系出處。

說出來你可能不信，有一只AI剛剛被證明，處理語音的方式跟大腦謎之相似。

甚至在結(jié)構上都能相互對應——

科學家們在AI身上直接定位出了“視覺皮層”。

這項來自Meta AI等機構的研究一經(jīng)po出，立馬在社交媒體上炸開了鍋。一大波神經(jīng)科學家和AI研究者前往圍觀。

LeCun稱贊這是“出色的工作”：自監(jiān)督Transformer分層活動與人類聽覺皮層活動之間，確實密切相關。

還有網(wǎng)友趁機調(diào)侃：Sorry馬庫斯，但AGI真的快要來了。

不過，研究也引發(fā)了一些學者的好奇。

例如麥吉爾大學神經(jīng)科學博士Patrick Mineault提出疑問：

我們發(fā)表在NeurIPS的一篇論文中，也嘗試過將fMRI數(shù)據(jù)和模型聯(lián)系起來，但當時并不覺得這倆有啥關系。

所以，這到底是一項怎樣的研究，它又是如何得出“這只AI干起活來像大腦”的結(jié)論的？

AI學會像人腦一樣工作

簡單來說，在這項研究中，研究人員聚焦語音處理問題，將自監(jiān)督模型Wav2Vec 2.0同412名志愿者的大腦活動進行了比較。

這412名志愿者中，有351人說英語，28人說法語，33人說中文。研究人員給他們聽了大約1個小時的有聲書，并在此過程中用fMRI對他們的大腦活動進行了記錄。

模型這邊，研究人員則用超過600小時的無標簽語音來訓練Wav2Vec 2.0。

對應志愿者的母語，模型也分為英語、法語、中文三款，另外還有一款是用非語音聲學場景數(shù)據(jù)集訓練的。

而后這些模型也聽了聽志愿者同款有聲書。研究人員從中提取出了模型的激活。

相關性的評價標準，遵照這個公式：

其中，X為模型激活，Y為人類大腦活動，W為標準編碼模型。

從結(jié)果來看，自監(jiān)督學習確實讓Wav2Vec 2.0產(chǎn)生了類似大腦的語音表征。

從上圖中可以看到，在初級和次級聽覺皮層，AI明顯預測到了幾乎所有皮層區(qū)域的大腦活動。

研究人員還進一步發(fā)現(xiàn)了AI的“聽覺皮層”、“前額葉皮層”到底長在哪一層。

圖中顯示，聽覺皮層與Transformer的第一層（藍色）最吻合，而前額葉皮層則與Transformer的最深一層（紅色）最吻合。

此外，研究人員量化分析了人類感知母語和非母語音素的能力差異，并與Wav2Vec 2.0模型進行對比。

他們發(fā)現(xiàn)，AI也像人類一樣，對“母語”有更強的辨別能力，比如，法語模型就比英語模型更容易感知來自法語的刺激。?

上述結(jié)果證明了，600小時的自監(jiān)督學習，就足以讓Wav2Vec 2.0學習到語言的特定表征——這與嬰兒在學說話的過程中接觸到的“數(shù)據(jù)量”相當。

要知道，之前DeepSpeech2論文認為，至少需要10000小時的語音數(shù)據(jù)（還得是標記的那種），才能構建一套不錯的語音轉(zhuǎn)文字（STT）系統(tǒng)。

再次引發(fā)神經(jīng)科學和AI界討論

對于這項研究，有學者認為，它確實做出了一些新突破。

例如，來自谷歌大腦的Jesse Engel稱，這項研究將可視化濾波器提升到了一個新的層次。

現(xiàn)在，不僅能看到它們在“像素空間”里長啥樣，連它們在“類腦空間”中的模樣也能模擬出來了：

又例如，前MILA和谷歌研究員Joseph Viviano認為，這個研究還證明了fMRI中的靜息態(tài)（resting-state）成像數(shù)據(jù)是有意義的。

但在一片討論中，也出現(xiàn)了一些質(zhì)疑的聲音。

例如，神經(jīng)科學博士Patrick Mineault除了指出自己做過相似研究但沒得出結(jié)論外，也給出了自己的一些質(zhì)疑。

他認為，這篇研究并沒有真正證明它測量的是“語音處理”的過程。

相比于人說話的速度，fMRI測量信號的速度其實非常慢，因此貿(mào)然得出“Wav2vec 2.0學習到了大腦的行為”的結(jié)論是不科學的。

當然，Patrick Mineault表示自己并非否認研究的觀點，他自己也是“作者的粉絲之一”，但這項研究應該給出一些更有說服力的數(shù)據(jù)。

?此外也有網(wǎng)友認為，Wav2vec和人類大腦的輸入也不盡相同，一個是經(jīng)過處理后的波形，但另一個則是原始波形。

對此，作者之一、Meta AI研究員Jean-Rémi King總結(jié)：

模擬人類水平的智能，確實還有很長的路要走。但至少現(xiàn)在來看，我們或許走在了一條正確的道路上。

你認為呢？

論文地址：
https://arxiv.org/abs/2206.01685