Yann LeCun 在演講時曾經(jīng)放過一張法國大革命時期的著名畫作《自由引導(dǎo)人民》，并配文：「這場革命將是無監(jiān)督的(THE REVOLUTION WILL NOT BE SUPERVISED)」。

LeCun 相信，當(dāng) AI 系統(tǒng)不再需要監(jiān)督學(xué)習(xí)時，下一次 AI 革命就會到來。屆時，這些系統(tǒng)將不再依賴于精心標(biāo)注的數(shù)據(jù)集。他表示，AI 系統(tǒng)需要在學(xué)習(xí)時盡可能少得從人類這里獲取幫助。

在最近接受 IEEE Spectrum 的訪談時，他談到了自監(jiān)督學(xué)習(xí)如何能夠創(chuàng)造具備常識的強大人工智能系統(tǒng)。同時，他也對最近的一些社區(qū)言論發(fā)表了自己的看法，比如吳恩達對「以數(shù)據(jù)為中心的 AI」的擁護、 OpenAI 首席科學(xué)家 Ilya Sutskever 對于當(dāng)前 AI 可能具備意識的推測等。

以下是訪談內(nèi)容：

Q：您曾經(jīng)說過，監(jiān)督學(xué)習(xí)的限制有時會被誤以為是深度學(xué)習(xí)自身的局限性所致，那么哪些限制可以通過自監(jiān)督學(xué)習(xí)來克服

A：監(jiān)督學(xué)習(xí)非常適用于邊界清晰的領(lǐng)域，在這類領(lǐng)域中，你可以收集大量標(biāo)記數(shù)據(jù)，而且模型在部署期間看到的輸入類型和訓(xùn)練時使用的輸入類型差別不大。收集大量不帶偏見的標(biāo)記數(shù)據(jù)是非常困難的。這里的偏見不一定是指社會偏見，可以理解為系統(tǒng)不該使用的數(shù)據(jù)之間的相關(guān)性。舉個例子，當(dāng)你在訓(xùn)練一個識別牛的系統(tǒng)時，所有的樣本都是草地上的牛，那么系統(tǒng)就會將草作為識別牛的上下文線索。如此一來，如果你給它一張沙灘上的牛的照片，它可能就認(rèn)不出來了。

自監(jiān)督學(xué)習(xí)(SSL)可以讓系統(tǒng)以獨立于任務(wù)的方式學(xué)習(xí)輸入的良好表示。因為 SSL 訓(xùn)練使用的是未標(biāo)注的數(shù)據(jù)，所以我們可以使用非常大的訓(xùn)練集，并讓系統(tǒng)學(xué)習(xí)更加穩(wěn)健、完整的輸入表示。然后，再利用少量的標(biāo)注數(shù)據(jù)，它就可以在監(jiān)督任務(wù)上達到良好的性能。這大大減少了純監(jiān)督學(xué)習(xí)所需的標(biāo)記數(shù)據(jù)量，并使系統(tǒng)更加穩(wěn)健、更能夠處理與標(biāo)注訓(xùn)練樣本不同的輸入。有時，它還會降低系統(tǒng)對數(shù)據(jù)偏見的敏感性。

在實用 AI 系統(tǒng)這一方向，我們正朝著更大的架構(gòu)邁進，即用 SSL 在大量未標(biāo)注數(shù)據(jù)上進行預(yù)訓(xùn)練。這些系統(tǒng)可以用于各種各樣的任務(wù)，比如用一個神經(jīng)網(wǎng)絡(luò)處理數(shù)百種語言的翻譯，構(gòu)造多語言語音識別系統(tǒng)等。這些系統(tǒng)可以處理數(shù)據(jù)難以獲取的語言。

Q：其他領(lǐng)軍人物表示，AI 的前進方向是通過更好的數(shù)據(jù)標(biāo)簽來改善監(jiān)督學(xué)習(xí)。吳恩達最近談到了以數(shù)據(jù)為中心的 AI，英偉達的 Rev Lebaredian 談到了帶有所有標(biāo)簽的合成數(shù)據(jù)。在 AI 的發(fā)展路徑方面，業(yè)界是否存在分歧?

A：我不認(rèn)為存在思想上的分歧。在 NLP 中，SSL 預(yù)訓(xùn)練是非常標(biāo)準(zhǔn)的實踐。它在語音識別方面表現(xiàn)出了卓越的性能提升，在視覺方面也變得越來越有用。然而，「經(jīng)典的」監(jiān)督學(xué)習(xí)仍有許多未經(jīng)探索的應(yīng)用，因此只要有可能，人們當(dāng)然應(yīng)該在監(jiān)督學(xué)習(xí)中使用合成數(shù)據(jù)。即便如此，英偉達也在積極開發(fā) SSL。

早在零幾年的時候，Geoff Hinton、Yoshua Bengio 和我就確信，訓(xùn)練更大、更深的神經(jīng)網(wǎng)絡(luò)的唯一方法就是通過自監(jiān)督(或無監(jiān)督)學(xué)習(xí)。也是從這時起，吳恩達開始對深度學(xué)習(xí)感興趣。他當(dāng)時的工作也集中在我們現(xiàn)在稱之為自監(jiān)督的方法上。

Q：如何基于自監(jiān)督學(xué)習(xí)構(gòu)建具有常識的人工智能系統(tǒng)?常識能讓我們在構(gòu)造人類智能水平的智能上走多遠(yuǎn)?

A：我認(rèn)為，一旦我們弄清楚如何讓機器像人類和動物一樣學(xué)習(xí)世界是如何運作的，人工智能必將會取得重大進展。因此人工智能要學(xué)會觀察世界，并在其中采取行動。人類了解世界是如何運作的，是因為人類已經(jīng)了解了世界的內(nèi)部模型，使得我們能夠填補缺失的信息，預(yù)測將要發(fā)生的事情，并預(yù)測我們行動的影響。我們的世界模型使我們能夠感知、解釋、推理、提前規(guī)劃和行動。

那么問題來了：機器如何學(xué)習(xí)世界模型?

這可以分解為兩個問題：

• 第一，我們應(yīng)該使用什么樣的學(xué)習(xí)范式來訓(xùn)練世界模型?
• 第二，世界模型應(yīng)該使用什么樣的架構(gòu)?

對于第一個問題，我的答案是自監(jiān)督學(xué)習(xí)(SSL)。舉個例子，讓機器觀看視頻并暫停視頻，然后讓機器學(xué)習(xí)視頻中接下來發(fā)生事情的表征。在這個過程中，機器可以學(xué)習(xí)大量關(guān)于世界如何運作的背景知識，這可能類似于嬰兒和動物在生命最初的幾周或幾個月內(nèi)的學(xué)習(xí)方式。

對于第二個問題，我的答案是一種新型的深度宏架構(gòu)(macro-architecture)，我稱之為分層聯(lián)合嵌入預(yù)測架構(gòu)(H-JEPA)。這里很難詳細(xì)解釋，以上述預(yù)測視頻為例，JEPA 不是預(yù)測視頻 clip 的未來幀，而是學(xué)習(xí)視頻 clip 的抽象表征和未來，以便能很容易地基于對前者的理解預(yù)測后者。這可以通過使用非對比 SSL 方法的一些最新進展來實現(xiàn)，特別是我們最近提出的一種稱為 VICReg 的方法。

Q：幾周前，您回復(fù)了 OpenAI 首席科學(xué)家 Ilya Sutskever 的一條推文。他推測當(dāng)今的大型神經(jīng)網(wǎng)絡(luò)可能存在一些意識，隨后您直接否定了這種觀點。那么在您看來，構(gòu)建一個有意識的神經(jīng)網(wǎng)絡(luò)需要什么?有意識的系統(tǒng)會是什么樣子?

A：首先，意識是一個非常模糊的概念。一些哲學(xué)家、神經(jīng)科學(xué)家和認(rèn)知科學(xué)家認(rèn)為這只是一種錯覺(illusion)，我非常認(rèn)同這種觀點。

我有一個關(guān)于意識錯覺的猜想。我的假設(shè)是：我們的腦前額葉皮質(zhì)中有一個世界模型「引擎」。該世界模型可根據(jù)實際面對的情況進行配置。例如帆船的舵手用世界模型模擬了船周圍的空氣和水流;再比如我們要建一張木桌，世界模型就會想象切割木頭和組裝它們的結(jié)果...... 我們的大腦中需要一個模塊，我稱之為配置器(configurator)，它為我們設(shè)定目標(biāo)和子目標(biāo)，配置我們的世界模型以模擬當(dāng)下實際的情況，并啟動我們的感知系統(tǒng)以提取相關(guān)信息并丟棄其余信息。監(jiān)督配置器的存在可能是讓我們產(chǎn)生意識錯覺的原因。但有趣的是：我們需要這個配置器，因為我們只有一個世界模型引擎。如果我們的大腦足夠大，可以容納許多世界模型，我們就不需要意識。所以，從這個意義上說，意識是我們大腦存在局限的結(jié)果!

Q：在元宇宙中，自監(jiān)督學(xué)習(xí)將扮演一個什么樣的角色?

A：元宇宙中有很多深度學(xué)習(xí)的具體應(yīng)用，例如用于 VR 和 AR 的運動跟蹤、捕捉和合成身體運動及面部表情等。

人工智能驅(qū)動的新型創(chuàng)新工具提供了廣闊的創(chuàng)造空間，讓每個人都能在元宇宙和現(xiàn)實世界中創(chuàng)造新事物。但元宇宙也有一個「AI-complete」應(yīng)用程序：虛擬 AI 助手。我們應(yīng)該擁有虛擬 AI 助手，他們可以在日常生活中為我們提供幫助，回答我們的任何問題，并幫助我們處理日常的海量信息。為此，人工智能系統(tǒng)需要對世界(包括物理世界和元宇宙的虛擬世界)如何運作有一定的了解，有一定的推理和規(guī)劃能力，并掌握一定程度的常識。簡而言之，我們需要弄清楚如何構(gòu)建可以像人類一樣學(xué)習(xí)的自主人工智能系統(tǒng)。這需要時間，而 Meta 已為此準(zhǔn)備良久。

原文鏈接：https://spectrum.ieee.org/yann-lecun-ai