本文轉(zhuǎn)自雷鋒網(wǎng)，如需轉(zhuǎn)載請(qǐng)至雷鋒網(wǎng)官網(wǎng)申請(qǐng)授權(quán)。

人類(lèi)包含意識(shí)、認(rèn)知、決策等等在內(nèi)的智慧能力，似乎從人類(lèi)有記錄的那一刻起，就吸引著無(wú)數(shù)哲學(xué)家的思索。與之類(lèi)似，從AI誕生的那一刻，科學(xué)家們則在憧憬：AI 如何能夠達(dá)到像人類(lèi)一樣的智能？

近期，LSTM 提出者和奠基者，奧地利人工智能高級(jí)研究所（IARAI）創(chuàng)始人，曾獲得IEEE CIS 2021 年神經(jīng)網(wǎng)絡(luò)先驅(qū)獎(jiǎng)（Neural Networks Pioneer Award）的Sepp Hochreiter教授在《ACM通訊》上對(duì)目前AI達(dá)到的智能水平發(fā)表了看法。

Sepp Hochreiter 指出，目前 AI 的發(fā)展正以廣義 AI（Broad AI）為目標(biāo)。他強(qiáng)調(diào)，將以往基于邏輯的符號(hào)AI和現(xiàn)有的基于數(shù)據(jù)的神經(jīng)AI結(jié)合的雙向AI（bilateral AI）是最有希望實(shí)現(xiàn)廣義 AI 的方式。

1 現(xiàn)有神經(jīng)網(wǎng)絡(luò)的不足

深度神經(jīng)網(wǎng)絡(luò)是現(xiàn)在 AI 的主流實(shí)現(xiàn)方式。盡管它可以實(shí)現(xiàn)驚人的性能，但就和人的智能比較而言，它仍然存在很多的缺陷。Hochreiter 教授援引紐約大學(xué)認(rèn)知科學(xué)家 Gary Marcus 曾經(jīng)對(duì)于神經(jīng)網(wǎng)絡(luò)的批判，認(rèn)為：（1）神經(jīng)網(wǎng)絡(luò)極度需要數(shù)據(jù)（data hungry）；（2）有限的遷移能力、也無(wú)法有效地遷移到新的任務(wù)或者數(shù)據(jù)分布上去；（3）對(duì)于世界知識(shí)或者先驗(yàn)知識(shí)無(wú)法充分地融合進(jìn)去。

也因此，Hochreiter教授警示道，決策者對(duì)于這些模型在真實(shí)數(shù)據(jù)的應(yīng)用領(lǐng)域的效果存疑，因?yàn)檎鎸?shí)場(chǎng)景下的數(shù)據(jù)總是變化著的、帶噪聲的、甚至數(shù)據(jù)稀缺的。事實(shí)上，在需求很大但安全性和可解釋性占很大考量的醫(yī)療、航空、無(wú)人駕駛等領(lǐng)域，深度學(xué)習(xí)技術(shù)的應(yīng)用仍舊有限。

2 “Broad AI”

盡管如此，Hochreiter教授也指出，當(dāng)下的 AI 已經(jīng)在試圖克服這些缺陷，并且以“廣義AI”（broad AI）作為當(dāng)下AI的新目標(biāo)。

什么樣的系統(tǒng)是廣義AI呢？

它區(qū)別于現(xiàn)有的、專(zhuān)門(mén)針對(duì)特定任務(wù)設(shè)計(jì)的狹義AI（narrow AI），而更加強(qiáng)調(diào)技能習(xí)得和問(wèn)題解決的能力（skill acquisition and problem solving）。這一觀點(diǎn)來(lái)自任職于Google、Keras作者Fran?ois Chollet曾在一篇論文中提到對(duì)于智能的定義。Chollet認(rèn)為處于智能第二階梯（下圖）的廣義AI應(yīng)該具有以下重要的特征：知識(shí)遷移和互動(dòng)、魯棒性、抽象和推理的能力、高效性。而廣義AI充分利用感知與料（sensory perception）、以往經(jīng)驗(yàn)和學(xué)習(xí)到的技能成功勝任不同的任務(wù)。

圖注：不同層次的AI對(duì)應(yīng)的能力

Hochreiter教授認(rèn)為現(xiàn)有的架構(gòu)、網(wǎng)絡(luò)或者方法在一定程度上是達(dá)到了Broad AI的要求的。他列舉了使用對(duì)比學(xué)習(xí)進(jìn)行自監(jiān)督訓(xùn)練的學(xué)習(xí)方式來(lái)表明遷移性；充分利用上下文和以往經(jīng)驗(yàn)的Modern Hopfield networks；以及融合了知識(shí)和推理的神經(jīng)-符號(hào)計(jì)算模型。

3 遷移性

現(xiàn)有的可以有效提高網(wǎng)絡(luò)遷移性的模型學(xué)習(xí)方式莫過(guò)于小樣本學(xué)習(xí)。它僅僅使用少量的訓(xùn)練數(shù)據(jù)就可以取得不錯(cuò)的性能。而這要?dú)w功于它已有的“先驗(yàn)知識(shí)”或者“經(jīng)驗(yàn)”。這些先驗(yàn)知識(shí)往往得益于預(yù)訓(xùn)練任務(wù)——包含大規(guī)模的數(shù)據(jù)和基礎(chǔ)模型（foundation model）。而這樣數(shù)據(jù)往往是通過(guò)對(duì)比學(xué)習(xí)、自監(jiān)督訓(xùn)練的方式進(jìn)行提取有用的表征。一旦預(yù)訓(xùn)練模型學(xué)好之后，該任務(wù)上習(xí)得的后驗(yàn)知識(shí)變成下游新的任務(wù)的先驗(yàn)知識(shí)，使得模型很好地遷移到新的情境、顧客、產(chǎn)品、流程、數(shù)據(jù)等上面。

Hochreiter教授特別提到了在視覺(jué)-語(yǔ)言跨模態(tài)領(lǐng)域的對(duì)比學(xué)習(xí)預(yù)訓(xùn)練方法——??CLIP??。CLIP是OpenAI去年發(fā)表在ICML上的一項(xiàng)工作，它使用一個(gè)簡(jiǎn)單的預(yù)訓(xùn)練任務(wù)，即圖文匹配，通過(guò)對(duì)比學(xué)習(xí)的方式來(lái)學(xué)習(xí)更為強(qiáng)大的圖像表征。該任務(wù)使用了4千萬(wàn)從網(wǎng)上收集來(lái)的圖文對(duì)來(lái)進(jìn)行訓(xùn)練。

圖注：CLIP利用圖文匹配的方式進(jìn)行訓(xùn)練

意料之中的驚訝在于，它之后無(wú)需任何數(shù)據(jù)訓(xùn)練就可以在30多個(gè)計(jì)算機(jī)視覺(jué)任務(wù)上實(shí)現(xiàn)和之前全監(jiān)督的方式可比的性能，實(shí)現(xiàn)了卓越的“零樣本學(xué)習(xí)”。而正如 Hochreiter 教授所稱(chēng)贊，這種高度的遷移性和魯棒性是部署在擁有真實(shí)數(shù)據(jù)的工業(yè)界十分青睞的特點(diǎn)。

事實(shí)上，自從CLIP發(fā)明之后，后續(xù)很多遷移學(xué)習(xí)的工作都是基于CLIP的。不夸張地說(shuō)，它絕對(duì)是視覺(jué)語(yǔ)言統(tǒng)一的不可或缺的一環(huán)，有些類(lèi)似于 Bert 之于 NLP 任務(wù)。而現(xiàn)今流行的 Prompt learning（提示學(xué)習(xí)）的方法很多也在借鑒 CLIP，或者在CLIP的框架下。

4 利用經(jīng)驗(yàn)

廣義 AI 還應(yīng)充分利用上下文環(huán)境和以往的經(jīng)驗(yàn)，這和記憶息息相關(guān)。這一點(diǎn)或許Hochreiter教授有很好的發(fā)言權(quán)，他畢竟是長(zhǎng)短時(shí)記憶網(wǎng)絡(luò)的發(fā)明者之一。而在認(rèn)知科學(xué)中，有學(xué)者曾經(jīng)提出過(guò)概念短時(shí)記憶，它描述的是當(dāng)人類(lèi)在接受到一個(gè)刺激時(shí)候，比如一幅圖、一個(gè)單詞，他會(huì)快速地將這些刺激轉(zhuǎn)化到一個(gè)抽象的概念范疇，并把它關(guān)聯(lián)到和長(zhǎng)時(shí)記憶相關(guān)的信息。“刺激-概念化-關(guān)聯(lián)”這個(gè)過(guò)程幾乎是無(wú)意識(shí)地發(fā)生，但對(duì)于我們理解日常事物、語(yǔ)言交流有著非常重要的作用。

圖注：“刺激-概念化-關(guān)聯(lián)”的認(rèn)知過(guò)程

關(guān)于這一點(diǎn)，Hochreiter列舉了Modern Hopfield networks（MHN）的工作，事實(shí)上這篇工作也在他本人的指導(dǎo)下完成的。Hopfield神經(jīng)網(wǎng)絡(luò)早在1982年就被提出，它是一種結(jié)合存儲(chǔ)系統(tǒng)和二元系統(tǒng)的神經(jīng)網(wǎng)絡(luò)，模擬了人類(lèi)記憶的模型。MHN認(rèn)為T(mén)ransformer中的自注意力機(jī)制是帶有連續(xù)狀態(tài)的Hopfield網(wǎng)絡(luò)的一種更新規(guī)則，并且從Hopfield網(wǎng)絡(luò)的角度對(duì)自注意力做了新的解釋。其中和記憶相關(guān)的一部分解釋在于它挖掘了數(shù)據(jù)中的相關(guān)性結(jié)構(gòu)（covariance structure），即如何使特征同時(shí)出現(xiàn)在數(shù)據(jù)中。MHN會(huì)放大這種共現(xiàn)。這種相關(guān)性可以被認(rèn)為是觸發(fā)了記憶中的關(guān)聯(lián)部分，從而有效地利用了已有的知識(shí)。

Hochreiter指出，MHN可以發(fā)掘豐富的數(shù)據(jù)間的相關(guān)關(guān)系，這一優(yōu)勢(shì)可以避免當(dāng)代方法容易遭遇的“捷徑學(xué)習(xí)”（shot-cut learning）的風(fēng)險(xiǎn)?！敖輳綄W(xué)習(xí)”是指模型學(xué)習(xí)到的并非真正用于決策的“特征”，而只是找到了一些特殊的相關(guān)性，如飛機(jī)總是出現(xiàn)在圖片的上半部分等。（詳情參考AI科技評(píng)論過(guò)往介紹：深度學(xué)習(xí)敗于“捷徑”）

5 神經(jīng)-符號(hào)系統(tǒng)結(jié)合

神經(jīng)網(wǎng)絡(luò)與符號(hào)系統(tǒng)能夠更好地促進(jìn) AI 模型對(duì)世界知識(shí)與抽象推理等能力的融合。

基于理性主義的符號(hào)系統(tǒng)立足于邏輯和符號(hào)表征，直接將人類(lèi)的推理方式編碼到機(jī)器中，它的優(yōu)勢(shì)在于抽象能力強(qiáng)大、使用較少的數(shù)據(jù)就可以達(dá)到比較好的結(jié)果。不過(guò)受限于現(xiàn)實(shí)世界知識(shí)的復(fù)雜多樣以及非結(jié)構(gòu)化，很難將這些完美無(wú)缺地編碼到機(jī)器可讀的規(guī)則中。

而基于經(jīng)驗(yàn)主義的神經(jīng)網(wǎng)絡(luò)直接利用大量的數(shù)據(jù)，通過(guò)隱式（無(wú)監(jiān)督）或者顯式（監(jiān)督）地指導(dǎo)模型學(xué)習(xí)到數(shù)據(jù)有用的表征，無(wú)需設(shè)計(jì)復(fù)雜的規(guī)則，就可以達(dá)到驚異的性能。不過(guò)，神經(jīng)網(wǎng)絡(luò)也面臨著解釋性弱、數(shù)據(jù)饑餓等難題。

將二者有機(jī)地結(jié)合也是AI領(lǐng)域?qū)W者經(jīng)常思考的一個(gè)問(wèn)題。有趣的是，這也可以聯(lián)想到人類(lèi)歷史的觀念之爭(zhēng)中，理性主義和感性主義的此消彼長(zhǎng)同樣是一個(gè)爭(zhēng)議性的話題。

Hochreiter教授則認(rèn)為已經(jīng)發(fā)展了一段時(shí)間的圖神經(jīng)網(wǎng)絡(luò)（GNN）是這一方向的代表。這也是來(lái)自發(fā)表在IJCAI’20上的一篇調(diào)查的意見(jiàn)，它將GNN歸類(lèi)為類(lèi)型1的神經(jīng)-符號(hào)系統(tǒng)。文章認(rèn)為二者都有如下共同之處：都在尋求神經(jīng)網(wǎng)絡(luò)輸入的豐富的向量化表示；都采用了一種樹(shù)和圖的結(jié)構(gòu)去表征數(shù)據(jù)和它們之間的關(guān)系。Hochreiter教授認(rèn)為它們?cè)诜肿訉傩?、社交網(wǎng)絡(luò)建模、工程領(lǐng)域的預(yù)測(cè)等等強(qiáng)調(diào)動(dòng)態(tài)交互和推理領(lǐng)域都有很好的表現(xiàn)。

圖注：GNN圖結(jié)構(gòu)示意圖