本文經(jīng)AI新媒體量子位（公眾號(hào)ID:QbitAI）授權(quán)轉(zhuǎn)載，轉(zhuǎn)載請(qǐng)聯(lián)系出處。

千呼萬(wàn)喚始出來(lái)，馬毅教授的AI綜述論文終于出爐！

耗時(shí)三個(gè)多月，聯(lián)合神經(jīng)科學(xué)家曹穎、計(jì)算機(jī)大牛沈向洋，協(xié)作完成。

據(jù)本人描述，這篇論文是將他“過(guò)去五年的工作以及智能七十多年的發(fā)展有機(jī)結(jié)合起來(lái)”，并且還表示：

一生從未在一篇文章上花這么多精力和時(shí)間。

具體而言，就是“理出了智能的起源以及計(jì)算原理的基本輪廓和框架，能讓大家認(rèn)識(shí)到這種理論聯(lián)系實(shí)踐的可能性?！?/p>

此前在社交網(wǎng)絡(luò)上預(yù)告時(shí)，許多網(wǎng)友都期待十足。

結(jié)果今天剛發(fā)不久，就有學(xué)者表示，正好要設(shè)計(jì)新的生成模型，給了我靈感。

來(lái)看看這是篇怎樣的論文？

兩大原則：簡(jiǎn)約和自洽

過(guò)去十年中，人工智能的進(jìn)展主要依賴于訓(xùn)練同質(zhì)化的黑箱模型，決策過(guò)程、特征表示等方面在很大程度上都是難以解釋的。

而這種端到端的粗暴訓(xùn)練，不僅導(dǎo)致了模型大小、訓(xùn)練數(shù)據(jù)以及計(jì)算成本不斷增長(zhǎng)，而且在實(shí)踐中還伴隨著許多問(wèn)題。

學(xué)到的表征缺乏豐富性；訓(xùn)練中缺乏穩(wěn)定性；缺乏適應(yīng)性，容易出現(xiàn)災(zāi)難性遺忘……

基于這樣的背景，研究人員假設(shè)，在實(shí)踐中出現(xiàn)這些問(wèn)題的根本原因之一，是對(duì)智能系統(tǒng)的功能和組織原則缺乏系統(tǒng)和綜合的理解。

而這背后是否存在一個(gè)統(tǒng)一的方法來(lái)解釋。

為此這篇文章提出了兩個(gè)基本原則——簡(jiǎn)約和自洽，分別回答兩個(gè)關(guān)于學(xué)習(xí)的基本問(wèn)題。

1、學(xué)什么：從數(shù)據(jù)中學(xué)習(xí)的目標(biāo)是什么，如何衡量？

2、如何學(xué)：我們?nèi)绾瓮ㄟ^(guò)高效和有效的計(jì)算來(lái)實(shí)現(xiàn)這樣一個(gè)目標(biāo)？

他們認(rèn)為這兩個(gè)原則制約著任何智能系統(tǒng)的功能和設(shè)計(jì)，而且完全可以以可測(cè)量和可計(jì)算的方式重新表述。

以簡(jiǎn)約性為例。智能的基礎(chǔ)是環(huán)境中的低維結(jié)構(gòu)，這讓預(yù)測(cè)和泛化變成可能，這也就是簡(jiǎn)約原則。而應(yīng)該如何來(lái)度量？本文提出了個(gè)幾何公式來(lái)衡量簡(jiǎn)約性。

基于這兩個(gè)原則， 得出了感知/智能的通用架構(gòu)：壓縮器和生成器之間的閉環(huán)轉(zhuǎn)錄。

它暗示了兩者之間的交互應(yīng)該是一種追逃游戲。在這個(gè)游戲中，他們扮演聯(lián)合目標(biāo)函數(shù)的對(duì)立面，而非自動(dòng)編碼器。

這也是此框架的主要優(yōu)勢(shì)之一，通過(guò)自我監(jiān)督和自我批判進(jìn)行自我學(xué)習(xí)，這是最自然和有效的。

從根本上說(shuō)，這個(gè)框架可以擴(kuò)展到完全無(wú)監(jiān)督的環(huán)境中， 這時(shí)候只需將每個(gè)新樣本和它的增量做看作新的累。

自監(jiān)督類型+自我批評(píng)的游戲機(jī)制，這樣一個(gè)閉環(huán)轉(zhuǎn)錄就會(huì)很容易學(xué)會(huì)。

值得一提的是，這種學(xué)習(xí)特征的結(jié)構(gòu)，類似于在靈長(zhǎng)類動(dòng)物的大腦中觀察到的類別選擇區(qū)域的結(jié)構(gòu)。

作者之一曹穎表示，這個(gè)框架與此前諸多想法類似，包括預(yù)測(cè)編碼、對(duì)比學(xué)習(xí)、生成模型、Transformer……

除此之外，他們還給出了些新方向，比如CV與圖形學(xué)之間的閉環(huán)關(guān)系。

最后整合在一起，一個(gè)自主的智能體，學(xué)習(xí)某種任務(wù)的最佳策略，是將感知（反饋）、學(xué)習(xí)、優(yōu)化和行動(dòng)整合到一個(gè)閉環(huán)中。

它統(tǒng)一并解釋了現(xiàn)代深度網(wǎng)絡(luò)和許多人工智能實(shí)踐的演變。雖然整個(gè)文章主要以視覺(jué)數(shù)據(jù)的建模為例。

但研究人員相信這兩個(gè)原則，將統(tǒng)一對(duì)廣泛自主智能系統(tǒng)的理解，并為理解大腦提供一個(gè)框架。

最后，他們還以熱力學(xué)之父的話作為結(jié)尾。

大致意思是只有當(dāng)你能測(cè)量，并用數(shù)字來(lái)表示你所講的東西時(shí)，你就對(duì)它有了解；如若不然，它可能是知識(shí)的開始，但在你的思想中，你幾乎沒(méi)有推進(jìn)到科學(xué)的階段。

One More Thing

有意思的是，就在提交arXiv之際，馬毅教授還在網(wǎng)絡(luò)上求助：

有人就不能寫一個(gè)接口嗎？一鍵提交論文的那種。而不是花費(fèi)大量時(shí)間在修改論文。

網(wǎng)友們也紛紛支招：使用LaTeX 編譯器，而不是PdfLaTeX。

還有人直接上圖。

好了，感興趣的旁友可戳下方鏈接了解更多～

論文鏈接：

https://arxiv.org/abs/2207.04630