NeurIPS 2022 會議正在如火如荼地進行之中，各路專家學(xué)者圍繞著深度學(xué)習(xí)、計算機視覺、大規(guī)模機器學(xué)習(xí)、學(xué)習(xí)理論、優(yōu)化、稀疏理論等眾多細分領(lǐng)域展開交流與探討。

會上，圖靈獎得主、深度學(xué)習(xí)先驅(qū) Geoffrey Hinton 被邀請發(fā)表演講，以表彰他十年前與其研究生 Alex Krizhevsky 和 Ilya Sutskever 共同撰寫的論文《ImageNet Classification with Deep Convolutional Neural Networks》，該論文因?qū)υ擃I(lǐng)域的「巨大影響」而被授予時間檢驗獎。這項工作發(fā)表于 2012 年，是卷積神經(jīng)網(wǎng)絡(luò)首次在 ImageNet 圖像識別競賽中表現(xiàn)人類水平的能力，它是啟動第三次人工智能浪潮的關(guān)鍵事件。

Hinton 此次演講的主題為《The Forward-Forward Algorithm for Training Deep Neural Networks》。在演講中，Geoffrey Hinton 表示，「機器學(xué)習(xí)研究社區(qū)在意識到深度學(xué)習(xí)對計算機構(gòu)建方式的影響上一直表現(xiàn)緩慢?！顾J為，人工智能的機器學(xué)習(xí)形式將引發(fā)計算機系統(tǒng)的變革，這是一種將 AI「放入你的烤面包機」的新型軟硬結(jié)合。

他繼續(xù)說到，「我認為我們將看到一種完全不同的計算機，雖然幾年內(nèi)無法實現(xiàn)。但我們有充分的理由來研究這種完全不同的計算機?！?/span>

構(gòu)建完全不同的新型計算機

迄今為止，所有的數(shù)字計算機都被構(gòu)建為「不朽」（immortal），其中硬件設(shè)計非常可靠，以便相同的軟件可以在任何地方運行?！肝覀兛梢栽诓煌奈锢碛布线\行相同的程序，知識是不朽的?！?/span>

Hinton 表示，這種設(shè)計要求意味著數(shù)字計算機已經(jīng)錯過了「硬件的各種可變、隨機、不穩(wěn)定、模擬和不可靠特性」，而這些特性可能對我們非常有用。

在 Hinton 看來，未來的計算機系統(tǒng)將采取不同的方式：它們將是「神經(jīng)形態(tài)的」，并且是普通的（mortal）。這意味著每臺計算機都將是神經(jīng)網(wǎng)絡(luò)軟件與雜亂無章硬件的緊密結(jié)合，在具有模擬而非數(shù)字元件的意義上，它可以包含不確定性因素并隨時間推移而發(fā)展。

Hinton 解釋到，「現(xiàn)在的替代方案是我們將放棄硬件與軟件的分離，但計算機科學(xué)家真的不喜歡這種做法?！?/span>

所謂的普通計算（mortal computation），就是系統(tǒng)學(xué)習(xí)到的知識和硬件是密不可分的。這些普通計算機可以「成長」，擺脫造價高昂的芯片制造廠。

Hinton 指出，如果我們這樣做了，就可以使用功耗極低的模擬計算，還能使用憶阻器權(quán)重來進行萬億次并行處理。這里指的是一種基于非線性電路元件、擁有數(shù)十年歷史的實驗芯片。此外我們還可以在不了解不同位硬件的精確行為的精準質(zhì)量時發(fā)展硬件。

但是，Hinton 也表示，新的普通計算機并不會取代傳統(tǒng)的數(shù)字計算機，「它不是掌控你的銀行賬戶的計算機，也不會確切知道你有多少錢?！?/span>

這種計算機用于放置（即處理）其他東西，比如它可以使用一美元將 GPT-3 之類的東西「放入你的烤面包機中」，這樣只需幾瓦的功率，就可以與自己的烤面包機對話。

適合普通計算硬件的 FF 網(wǎng)絡(luò)

在這次演講中，Hinton 花了大部分時間談?wù)撘环N新的神經(jīng)網(wǎng)絡(luò)方法，他稱之為 Forward-Forward（FF）網(wǎng)絡(luò)，它取代了幾乎所有神經(jīng)網(wǎng)絡(luò)中使用的反向傳播技術(shù)。Hinton 提出，通過去除反向傳播，前向網(wǎng)絡(luò)可能更合理地接近現(xiàn)實生活中在大腦中發(fā)生的情況。

這篇論文草稿被張貼在多倫多大學(xué)的 Hinton 主頁上：

論文鏈接：https://www.cs.toronto.edu/~hinton/FFA13.pdf

Hinton 表示，F(xiàn)F 方法可能更適合普通的計算硬件?！府斍叭绻獙崿F(xiàn)這樣的事情，我們必須有一個將在專屬硬件中運行的學(xué)習(xí)程序，必須要學(xué)習(xí)利用該專屬硬件的具體屬性，而不知道所有這些屬性是什么。但我認為前向算法是一個有潛力的選項。」

他說，建造新的模擬計算機的一個障礙是，人們對在數(shù)百萬臺設(shè)備上運行一個軟件的可靠性很重視?！高@些手機中的每一部都必須從一個嬰兒手機開始取代，而且它必須學(xué)習(xí)如何成為一部手機，」Hinton 說?！付@是非常痛苦的?！?/span>

即使是最擅長相關(guān)技術(shù)的工程師，也會因為擔心不確定性，而遲遲不能放棄完美的、相同的不朽計算機的范式。

Hinton 說：「在對模擬計算感興趣的人中，仍有極少數(shù)人愿意放棄不朽。這是因為對一致性、可預(yù)測性的依戀。但如果你希望模擬硬件每次都做同樣的事情，你遲早因為這些雜亂的東西遇到真正的問題?！?/span>

論文內(nèi)容

在論文中，Hinton 介紹了一種新的神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)程序，并通過實驗證明它在一些小問題上的效果足夠好。具體內(nèi)容如下：

反向傳播有什么問題？

過去十年，深度學(xué)習(xí)的成功確立了在大量參數(shù)和大量數(shù)據(jù)的情況下執(zhí)行隨機梯度下降的有效性。梯度通常是通過反向傳播來計算的，這導(dǎo)致人們對大腦是否實現(xiàn)了反向傳播或是否有其他方式來獲得調(diào)整連接權(quán)重所需的梯度產(chǎn)生了興趣。

作為大腦皮層如何學(xué)習(xí)的模型，反向傳播仍然是不可信的，盡管人們做出了相當大的努力來讓它像真實的神經(jīng)元一樣實施。目前沒有令人信服的證據(jù)表明大腦皮層明確地傳播誤差導(dǎo)數(shù)或儲存神經(jīng)活動，以便在隨后的反向傳播中使用。從一個皮層區(qū)域到視覺通路中較早的區(qū)域的自上而下的連接并不像預(yù)期的那樣，即如果在視覺系統(tǒng)中使用反向傳播，就會出現(xiàn)自下而上的連接。相反，它們形成了循環(huán)，其中神經(jīng)活動經(jīng)過兩個區(qū)域的大約半打皮質(zhì)層，然后回到它開始的地方。

通過時間的反向傳播作為學(xué)習(xí)序列的一種方式是特別不靠譜的。為了處理感官輸入流而不頻繁超時，大腦需要通過感官處理的不同階段對感官數(shù)據(jù)進行 pipeline 處理，它需要一個能「在飛行中」學(xué)習(xí)的學(xué)習(xí)程序。Pipeline 后期階段的表征可能提供自上而下的信息，在后續(xù)的時間步中影響 pipeline 早期階段的表征，但感知系統(tǒng)需要實時地進行推理和學(xué)習(xí)，而不需要停止執(zhí)行反向傳播。

反向傳播的另一個嚴重限制是，它需要完全了解在前向傳遞中進行的計算，以便計算出正確的導(dǎo)數(shù)。如果我們在前向傳遞中插入一個黑匣子，那么就不可能再進行反向傳播，除非我們學(xué)習(xí)了黑匣子的可微分模型。正如我們將看到的，黑匣子根本不會改變 FF 算法的學(xué)習(xí)程序，因為不需要通過它進行反向傳播。

在沒有完美的前向傳遞模型的情況下，或許能求助于許多形式的強化學(xué)習(xí)之一。這個想法是對權(quán)重或神經(jīng)活動進行隨機擾動，并將這些擾動與收益函數(shù)的變化聯(lián)系起來。但強化學(xué)習(xí)程序存在高變異性：當許多其他變量同時被擾動時，很難看到擾動一個變量的效果。為了平均化所有其他擾動造成的噪音，學(xué)習(xí)率需要與被擾動的變量數(shù)量成反比，這意味著強化學(xué)習(xí)的規(guī)模很差，對于包含數(shù)百萬或數(shù)十億參數(shù)的大型網(wǎng)絡(luò)，無法與反向傳播競爭。

這篇論文的主要觀點是，含有未知非線性的神經(jīng)網(wǎng)絡(luò)不需要借助于強化學(xué)習(xí)。FF 算法的速度與反向傳播相當，但它的優(yōu)點是可以在正向計算的精確細節(jié)未知時使用。它的優(yōu)勢還在于可以在通過神經(jīng)網(wǎng)絡(luò)對順序數(shù)據(jù)進行流水作業(yè)時進行學(xué)習(xí)，而不需要儲存神經(jīng)活動或停止傳播誤差導(dǎo)數(shù)。

總體來說，F(xiàn)F 算法比反向傳播要慢一些，而且在本文研究的幾個 toy problem 上，它的歸納性也不太理想，所以在功率不太受限的應(yīng)用中，它不太可能取代反向傳播。對于在非常大的數(shù)據(jù)集上訓(xùn)練的非常大的模型，這類探索將繼續(xù)使用反向傳播。FF 算法在兩個方面可能優(yōu)于反向傳播，一是作為大腦皮層的學(xué)習(xí)模型，二是作為使用非常低功率的模擬硬件而不需要借助于強化學(xué)習(xí)。

FF 算法

Forward-Forward 算法是一種貪婪的多層學(xué)習(xí)程序，其靈感來自玻爾茲曼機和噪聲對比估計。思路是用兩個前向傳遞代替反向傳播的前向和后向傳遞，這兩個前向傳遞又以完全相同的方式彼此運算，但在不同的數(shù)據(jù)上，目標也相反。其中，positive 傳遞在真實數(shù)據(jù)上運算，并調(diào)整權(quán)重以增加每個隱藏層的優(yōu)點（goodness）；negative 傳遞在 negative 數(shù)據(jù)上運算，并調(diào)整權(quán)重以減少每個隱藏層中的優(yōu)點。

在論文中，Hinton 通過在 CIFAR-10 上的實驗展示了 FF 算法的性能。

CIFAR-10 有 50000 幅訓(xùn)練圖像，這些圖像為 32 x 32 像素大小，每個像素有三個顏色通道。因此，每幅圖像有 3072 個維度。這些圖像的背景很復(fù)雜，變化很大，在如此有限的訓(xùn)練數(shù)據(jù)下無法很好地建模。一般來說，有兩到三個隱藏層的全連接網(wǎng)絡(luò)在用反向傳播法訓(xùn)練時，除非隱藏層非常小，否則過擬合效果很差，所以幾乎所有的報告結(jié)果都是卷積網(wǎng)絡(luò)。

由于 FF 的目的是用于權(quán)重共享不可行的網(wǎng)絡(luò)，所以將它與反向傳播網(wǎng)絡(luò)進行了比較，后者使用局部感受野來限制權(quán)重的數(shù)量，而不過于限制隱藏單元的數(shù)量。其目的只是為了表明，在有大量隱藏單元的情況下，對于包含高度可變背景的圖像，F(xiàn)F 的性能與反向傳播相當。

表 1 顯示了用反向傳播和 FF 訓(xùn)練網(wǎng)絡(luò)的測試性能，這兩種方法都使用了權(quán)重衰減來減少過擬合。

更多研究細節(jié)，可參考原論文。