?人工智能發(fā)展七十年，雖然技術(shù)指標(biāo)上不斷刷新，但到底什么是「智能」，它如何出現(xiàn)及發(fā)展的，還沒有答案。

最近馬毅教授聯(lián)手計(jì)算機(jī)科學(xué)家沈向洋博士、神經(jīng)科學(xué)家曹穎教授發(fā)表了一篇對(duì)智能出現(xiàn)及發(fā)展的研究綜述，希望將智能體的研究在理論上統(tǒng)一起來，增進(jìn)對(duì)人工智能模型的理解與可解釋性。

論文鏈接：http://arxiv.org/abs/2207.04630

文中引入了兩個(gè)基本原則：簡約（Parsimony）與自洽（ Self-consistency）。

作者認(rèn)為這是智力、人工或自然的興起的基石。盡管在經(jīng)典文獻(xiàn)里，對(duì)這兩個(gè)原則各自的相關(guān)論述、闡述眾多，但本文對(duì)這兩個(gè)原則以完全可度量和可計(jì)算的方式重新進(jìn)行解讀。

基于這兩個(gè)第一性的原則，作者推演出了一個(gè)高效的計(jì)算框架：壓縮閉環(huán)轉(zhuǎn)錄，該框架統(tǒng)一并解釋了現(xiàn)代深度網(wǎng)絡(luò)和許多人工智能實(shí)踐的演變。

兩大基本原則：簡約與自洽

在深度學(xué)習(xí)加持下，過去十年人工智能取得的進(jìn)展主要依賴于訓(xùn)練同質(zhì)化的黑箱模型，使用粗暴的工程方法訓(xùn)練大規(guī)模神經(jīng)網(wǎng)絡(luò)。

雖然性能提高了，也無需手動(dòng)設(shè)計(jì)特征，但神經(jīng)網(wǎng)絡(luò)內(nèi)部學(xué)到的特征表示卻是不可解釋的，并且大模型帶來其他的難題，比如不斷提高的數(shù)據(jù)收集和計(jì)算的成本、學(xué)到的表征缺乏豐富性、穩(wěn)定性（模式崩潰）、適應(yīng)性（容易出現(xiàn)災(zāi)難性遺忘）；對(duì)變形或?qū)剐怨羧狈Ψ€(wěn)健性等。

作者認(rèn)為，目前在深度網(wǎng)絡(luò)和人工智能的實(shí)踐中出現(xiàn)這些問題的根本原因之一是對(duì)智能系統(tǒng)的功能和組織原則缺乏系統(tǒng)和綜合的理解。

舉個(gè)例子，訓(xùn)練用于分類的判別式模型和用于采樣或重放的生成性模型基本上在實(shí)踐中是分開的。這樣訓(xùn)練的模型通常叫開環(huán)系統(tǒng)，需要通過監(jiān)督或自監(jiān)督進(jìn)行端到端的訓(xùn)練。

在控制理論中，這種開環(huán)系統(tǒng)（open-loop systems）不能自動(dòng)糾正預(yù)測(cè)中的錯(cuò)誤，而且對(duì)環(huán)境的變化沒有適應(yīng)性；正是因?yàn)檫@樣的問題，在控制系統(tǒng)（controlled systems）中大家廣泛采用「閉環(huán)反饋」，使系統(tǒng)能夠自主糾正錯(cuò)誤。

類似的經(jīng)驗(yàn)在學(xué)習(xí)中也適用：一旦判別式模型和生成性模型結(jié)合在一起，形成一個(gè)完整的閉環(huán)系統(tǒng)，學(xué)習(xí)就可以變得自主（無需外部監(jiān)督），而且更有效率、更穩(wěn)定、更有適應(yīng)性。

為了理解智能系統(tǒng)中可能需要的功能組件，如判別器或生成器等部件，我們需要從一個(gè)更加「原則」和「統(tǒng)一」的角度來理解智能。

文中提出兩個(gè)基本原則：簡約（Parsimony）和自洽（Self-consistency），分別回答了關(guān)于學(xué)習(xí)的兩個(gè)基本問題。

• 學(xué)什么：要從數(shù)據(jù)中學(xué)習(xí)什么，如何衡量學(xué)到的好壞？

• 怎么學(xué)：我們?nèi)绾瓮ㄟ^高效和有效的計(jì)算框架來實(shí)現(xiàn)這樣一個(gè)學(xué)習(xí)的目標(biāo)？

對(duì)于第一個(gè)「學(xué)什么」的問題，簡約原則認(rèn)為：?

智能系統(tǒng)的學(xué)習(xí)目標(biāo)就是從外部世界的觀測(cè)數(shù)據(jù)中找出低維的結(jié)構(gòu)，并且以最緊湊和結(jié)構(gòu)化的方式重新組織和表示它們。

這也就是「奧卡姆剃刀」原則：如無必要，勿增實(shí)體。

如果沒有這一原則，智能就不可能發(fā)生與存在！如果對(duì)外部世界的觀測(cè)數(shù)據(jù)沒有低維結(jié)構(gòu)，就沒有什么值得學(xué)習(xí)或記憶的東西，也就無法進(jìn)行良好的泛化或預(yù)測(cè)。

而且智能系統(tǒng)需要盡量節(jié)省資源，如能量、空間、時(shí)間和物質(zhì)等，在某些情況下，該原則也被稱為「壓縮原則」。但是，智能的簡約性（Parsimony of Intelligence）并不是要實(shí)現(xiàn)最好的壓縮，而是要通過高效的計(jì)算手段獲得觀測(cè)數(shù)據(jù)最緊湊和結(jié)構(gòu)化的表達(dá)。

那么簡約性該如何度量？

對(duì)于一般的高維模型來說，許多常用的數(shù)學(xué)或統(tǒng)計(jì)學(xué)「度量」的計(jì)算成本都是指數(shù)級(jí)的，或者對(duì)于有低維結(jié)構(gòu)的數(shù)據(jù)分布來說，甚至是沒有定義的，比如最大似然、KL分歧、互信息、Jensen-Shannon和Wasserstein距離等。

作者認(rèn)為學(xué)習(xí)的目的實(shí)際上就是建立一個(gè)映射（通常是非線性的），從原始高維輸入中得到一個(gè)低維的表示。

這樣，得到的特征z的分布應(yīng)該更加緊湊和結(jié)構(gòu)化；緊湊意味著存儲(chǔ)上更經(jīng)濟(jì)；結(jié)構(gòu)化意味著訪問和使用更加高效：特別是線性結(jié)構(gòu)，是內(nèi)插或外推的理想選擇。

為了這個(gè)目的，作者引入了線性判別表示（LDR），實(shí)現(xiàn)三個(gè)子目標(biāo)：

1. 壓縮：將高維感官數(shù)據(jù)x映射到低維表征z；
2. 線性化：將分布在非線性子面的每一類物體映射到線性子空間；
3. 稀疏化：將不同類別映射到相互獨(dú)立或最不相關(guān)的子空間。

而這幾個(gè)目標(biāo)可以通過最大編碼率減少（rate reduction）來實(shí)現(xiàn)，保證所學(xué)到的LDR模型具有最優(yōu)的簡約性能。

對(duì)于第二個(gè)「怎么學(xué)」的問題，自洽原則認(rèn)為：?

一個(gè)自主的智能系統(tǒng)通過最小化觀測(cè)到的數(shù)據(jù)和再生成的數(shù)據(jù)在內(nèi)部表達(dá)中的差異，為外部世界的觀測(cè)尋求一個(gè)最自洽的模型。

僅僅是簡約原則并不能確保學(xué)到的模型能夠捕捉到關(guān)于外部世界的數(shù)據(jù)中的所有重要信息。例如，通過最小化交叉熵，將每個(gè)類別映射到一個(gè)一維的one-hot向量，可以被看作是簡約性的一種形式。

它可能會(huì)學(xué)到一個(gè)好的分類器，但學(xué)到的特征也可能會(huì)崩潰成一個(gè)singleton，也稱為神經(jīng)崩潰。這樣學(xué)到的特征將不再包含足夠的信息來重新生成原始數(shù)據(jù)。

即使我們考慮更普遍的LDR模型，僅靠最大化編碼率差也不能自動(dòng)確定環(huán)境特征空間的正確維度。

如果特征空間的維度太低，學(xué)到的模型就會(huì)與數(shù)據(jù)不匹配；如果太高，模型可能會(huì)過度匹配。

更一般地說，我們認(rèn)為感知的學(xué)習(xí)不同于學(xué)習(xí)具體任務(wù)。感知的目標(biāo)是學(xué)習(xí)關(guān)于所感知的一切可預(yù)測(cè)的內(nèi)容。

就像愛因斯坦所說過的：「事情應(yīng)該力求簡單，不過不能過于簡單?！?/p>

通用學(xué)習(xí)引擎

基于這兩個(gè)原則，文章以視覺圖像數(shù)據(jù)建模為例推導(dǎo)出了壓縮閉環(huán)轉(zhuǎn)錄框架（compressive closed-loop transcription framework）。

其通過比較和最小化內(nèi)部表征的差異，在內(nèi)部對(duì)非線性數(shù)據(jù)子流型進(jìn)行壓縮式閉環(huán)轉(zhuǎn)錄，以實(shí)現(xiàn)LDR。

編碼器/傳感器和解碼器/控制器之間的追逃游戲，可以讓解碼表征生成的數(shù)據(jù)的分布追逐和匹配觀察到的真實(shí)數(shù)據(jù)分布。

另外作者指出，壓縮式閉環(huán)轉(zhuǎn)錄可以有效地進(jìn)行增量學(xué)習(xí)。

一個(gè)新的數(shù)據(jù)類的LDR模型可以通過編碼器和解碼器之間的一個(gè)有約束的博弈來學(xué)習(xí)的：過去學(xué)習(xí)到的類的記憶可以很自然地作為博弈中的約束被保留，也就是作為閉環(huán)轉(zhuǎn)錄的「固定點(diǎn)」。

文中還對(duì)這個(gè)框架的普適性提出了更多的推測(cè)性想法，將其擴(kuò)展到三維視覺和強(qiáng)化學(xué)習(xí)，并預(yù)測(cè)其對(duì)神經(jīng)科學(xué)、數(shù)學(xué)和高級(jí)智能的影響。

通過這個(gè)由第一性原理推導(dǎo)出來的框架：信息編碼理論、閉環(huán)反饋控制、優(yōu)化/深度網(wǎng)絡(luò)和博弈論的概念都有機(jī)地整合在一起，成為一個(gè)完整的、自主的智能系統(tǒng)的必要組成部分。

值得一提的是，壓縮閉環(huán)式架構(gòu)在自然界的所有智能生物以及不同尺度上無處不在：從大腦（壓縮感知信息），到脊柱回路（壓縮肌肉運(yùn)動(dòng)），直至DNA（壓縮蛋白質(zhì)的功能信息）等等。

所以作者認(rèn)為，壓縮性閉環(huán)轉(zhuǎn)錄應(yīng)該是所有智能行為背后的「通用學(xué)習(xí)引擎」。它使得自然的或者人工的智能系統(tǒng)能夠從看似復(fù)雜的感知數(shù)據(jù)中發(fā)現(xiàn)并提煉出低維的結(jié)構(gòu)，把它們轉(zhuǎn)換為簡潔規(guī)則的內(nèi)部表達(dá)，以利于將來正確地判斷和預(yù)測(cè)外部世界。

這是一切智能發(fā)生和發(fā)展的計(jì)算基礎(chǔ)和機(jī)理。

參考資料：http://arxiv.org/abs/2207.04630?