反向傳播技術(shù)是深度學(xué)習(xí)的核心，驅(qū)動(dòng)了AI在視覺、語(yǔ)音、自然語(yǔ)言處理、游戲、生物預(yù)測(cè)等諸多領(lǐng)域的成功。反向傳播的運(yùn)行機(jī)制是通過(guò)反向的方式計(jì)算預(yù)測(cè)誤差對(duì)神經(jīng)網(wǎng)絡(luò)連接權(quán)重的梯度，并通過(guò)微調(diào)每一層的權(quán)重來(lái)減少預(yù)測(cè)誤差。盡管反向傳播非常高效，是目前人工智能成功的關(guān)鍵，但是相當(dāng)一部分研究人員并不認(rèn)為反向傳播的學(xué)習(xí)方法同大腦的工作方式是一致的。

隨著深度學(xué)習(xí)技術(shù)的發(fā)展，大家也逐步看到了反向傳播的一些弊端，例如對(duì)于標(biāo)簽數(shù)據(jù)和算力的過(guò)度依賴、存在一系列的對(duì)抗安全問(wèn)題、只能針對(duì)特定的任務(wù)等，而且也引發(fā)了大家對(duì)發(fā)展大模型的一些顧慮。

例如反向傳播提出的作者之一也是深度學(xué)習(xí)先驅(qū)Hinton就多次表示，“如果要想實(shí)現(xiàn)實(shí)質(zhì)進(jìn)展，必須擯棄反向傳播，從頭再來(lái)[2]”，“我目前的信念是，反向傳播，也即目前深度學(xué)習(xí)的工作方式，與大腦所作的完全不同，大腦是以不同的方式來(lái)獲得梯度的[3]”, “我相信大腦使用了很多局部小的目標(biāo)函數(shù)，它不是一種端到端的系統(tǒng)鏈，通過(guò)訓(xùn)練來(lái)優(yōu)化目標(biāo)函數(shù)[3]”。

同是圖靈獎(jiǎng)得主的LeCun則表示“目前的深度學(xué)習(xí)模型可能是未來(lái)智能系統(tǒng)的一個(gè)組成部分，但我認(rèn)為它缺少必要的部分。我認(rèn)為它們是必要的，但還不夠[4]”。他的老對(duì)頭，紐約大學(xué)教授Gary Marcus表示同樣的內(nèi)容之前都說(shuō)過(guò)“如果我們要實(shí)現(xiàn)通用人工智能，深度學(xué)習(xí)必須得到其他技術(shù)的補(bǔ)充[4]”。

1 大腦的啟發(fā)

如何從頭再來(lái)? 人工智能技術(shù)的發(fā)展無(wú)疑離不開理解大腦對(duì)我們的啟發(fā)。盡管我們還遠(yuǎn)不能完全理解大腦的工作機(jī)制-其核心是如何根據(jù)外部信息調(diào)整神經(jīng)元之間的連接權(quán)重，我們依然可以得到一些關(guān)于大腦的初步認(rèn)知，能夠啟發(fā)我們?cè)O(shè)計(jì)新的模型。

首先，大腦的學(xué)習(xí)過(guò)程跟赫布規(guī)則(Hebb’s rule)有著千絲萬(wàn)縷的聯(lián)系，即同時(shí)激活的神經(jīng)元之間的連接權(quán)重會(huì)加強(qiáng)，這可以說(shuō)是神經(jīng)科學(xué)的最重要的一個(gè)基本規(guī)則，得到了大量的生物實(shí)驗(yàn)驗(yàn)證。

其次，大腦中的學(xué)習(xí)主要以無(wú)監(jiān)督學(xué)習(xí)為主，能夠從少量樣本中獲取豐富的局部表征和表征之間的關(guān)聯(lián)，反饋信號(hào)也在學(xué)習(xí)過(guò)程中起到比較重要的作用。此外，大腦是一個(gè)支持通用任務(wù)的學(xué)習(xí)系統(tǒng)，大腦學(xué)習(xí)到的特征與特定的任務(wù)應(yīng)該是相對(duì)對(duì)立的，一個(gè)合理的目標(biāo)是大腦能夠很好的學(xué)習(xí)到各類輸入信號(hào)的統(tǒng)計(jì)分布以及不同內(nèi)容之間的關(guān)聯(lián)。

近日，山東大學(xué)的研究者周洪超在arXiv上提交了一篇文章，“Activation Learning by Local Competitions”, 提出了一個(gè)受到大腦啟發(fā)的AI模型，稱之為激活學(xué)習(xí)(activation learning)。它的核心是構(gòu)建多層神經(jīng)網(wǎng)絡(luò)使得網(wǎng)絡(luò)輸出激活強(qiáng)度能反映輸入的相對(duì)概率大小。

?該模型完全放棄了反向傳播方法，而是從改進(jìn)基本的赫布規(guī)則（更接近于大腦的方法）出發(fā)，建立出一套新的神經(jīng)網(wǎng)絡(luò)訓(xùn)練和推理方式，它在小樣本的學(xué)習(xí)實(shí)驗(yàn)中能夠取得明顯優(yōu)于反向傳播的表現(xiàn)，而且也可以作為圖片的生成模型。該工作表明，生物啟發(fā)的學(xué)習(xí)方法的潛力可能被遠(yuǎn)遠(yuǎn)低估了。

論文鏈接: https://arxiv.org/pdf/2209.13400.pdf

2 本地競(jìng)爭(zhēng)的學(xué)習(xí)規(guī)則

赫布學(xué)習(xí)在反向傳播出現(xiàn)之前一直是神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)研究的一個(gè)核心方向，啟發(fā)了一系列學(xué)習(xí)系統(tǒng)的工作，但是最終并沒(méi)有成為一個(gè)廣泛實(shí)際應(yīng)用的方法。

一個(gè)可能的原因是人們對(duì)赫布規(guī)則中的一些機(jī)制尤其是神經(jīng)元之間的競(jìng)爭(zhēng)機(jī)制并沒(méi)有完全了解，而競(jìng)爭(zhēng)在神經(jīng)網(wǎng)路特征學(xué)習(xí)和權(quán)重調(diào)整過(guò)程中起到非常重要的作用。

一個(gè)直觀的理解是如果每一個(gè)神經(jīng)元都盡力在競(jìng)爭(zhēng)激活，而同時(shí)有某種抑制使得不同神經(jīng)元表征的特征盡量不同，那么神經(jīng)網(wǎng)絡(luò)會(huì)趨近于將最多的有用信息傳遞到下一層（是不是跟社會(huì)經(jīng)濟(jì)學(xué)很像? 當(dāng)一個(gè)大的社會(huì)群體里每個(gè)個(gè)體都實(shí)現(xiàn)收益最大化而且這個(gè)群體足夠大的時(shí)候，在一定的規(guī)則限制下整個(gè)群體的總收益趨向于最大化，這時(shí)候每個(gè)個(gè)體表現(xiàn)出了不同的行為）。

事實(shí)上，大腦中存在著大量的抑制神經(jīng)元，神經(jīng)元之間的競(jìng)爭(zhēng)和抑制在大腦學(xué)習(xí)過(guò)程中發(fā)揮重要的作用。反向傳播的第一作者 Rumelhart (認(rèn)知科學(xué)領(lǐng)域的最高獎(jiǎng)就是Rumelhart獎(jiǎng)) 就是這個(gè)想法的推動(dòng)者，他在提出反向傳播的同期（1985年）也提出一種叫競(jìng)爭(zhēng)學(xué)習(xí)(Competitive Learning)的模型 [5], 它的核心在將每一層的神經(jīng)元分成若干簇，每一簇只有最強(qiáng)的一個(gè)神經(jīng)元會(huì)被激活(稱之為贏者通吃)并通過(guò)赫布規(guī)則進(jìn)行訓(xùn)練。但是相比之下，反向傳播在實(shí)際應(yīng)用中表現(xiàn)出了更好的網(wǎng)絡(luò)訓(xùn)練效率，并在此后吸引了絕大部分AI研究人員的注意力，推動(dòng)了深度學(xué)習(xí)的出現(xiàn)和成功。

但是依然有一部分研究者相信生物啟發(fā)的學(xué)習(xí)方法的潛力，2019年Krotov和Hopfield (沒(méi)錯(cuò)，就是Hopfield網(wǎng)絡(luò)的提出者) 展示了贏者通吃規(guī)則結(jié)合赫布學(xué)習(xí)可能可以達(dá)到同反向傳播相比擬的性能[6]。但是贏者通吃的規(guī)則，即只允許一個(gè)神經(jīng)元被激活的方式，在一定程度上也限制了神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)和表達(dá)能力。

本文工作研究者將競(jìng)爭(zhēng)機(jī)制直接引入到赫布學(xué)習(xí)規(guī)則中，得到了一個(gè)簡(jiǎn)潔的本地學(xué)習(xí)規(guī)則:

這里假設(shè)神經(jīng)元i是它上面一層神經(jīng)元j的輸入,  是神經(jīng)元i和神經(jīng)元j的連接權(quán)重，是該權(quán)重在某一訓(xùn)練樣本下的調(diào)整量，是神經(jīng)元i的輸出也是神經(jīng)元j的一個(gè)輸入, 是神經(jīng)元j的總加權(quán)輸入(或者神經(jīng)元j的輸出), 是一個(gè)較小的學(xué)習(xí)率, 遍歷了與神經(jīng)元j同層的所有神經(jīng)元。如果僅考慮 , 就是最原始的赫布規(guī)則。這里的一個(gè)關(guān)鍵就是引入了一個(gè)來(lái)自于同層的輸出反饋?lái)?xiàng) 。它起到了兩個(gè)作用：第一是保證所有的權(quán)重不會(huì)無(wú)限增大，學(xué)習(xí)的過(guò)程是收斂的；第二是引入了神經(jīng)元j同本層其他神經(jīng)元之間的競(jìng)爭(zhēng)，提升特征表達(dá)的多樣性。

對(duì)上面的本地學(xué)習(xí)規(guī)則進(jìn)行數(shù)學(xué)分析(假設(shè)學(xué)習(xí)率足夠小、學(xué)習(xí)步數(shù)足夠多)，可以得到一些很有意思的結(jié)論。

(1) 給定每層的, 通過(guò) 可以重構(gòu)出輸入 使得重構(gòu)誤差盡量小。這種逐層的重構(gòu)能力可以提升模型對(duì)于對(duì)抗攻擊的安全性，防止在一些物體圖片上加入對(duì)抗噪音被識(shí)別成其它的物體。

(2) 基于本地學(xué)習(xí)規(guī)則的每層特征提取跟主成分分析(PCA)具有一定相似性，他們的重構(gòu)損失是一樣的，但是與主成分分析不同的是本地學(xué)習(xí)規(guī)則得到的各個(gè)成分是不需要正交的。這是一件很合理的事情，因?yàn)橹鞒煞址治鼍褪莵?lái)提取每一層主要的信息，但是如果最主要成分對(duì)應(yīng)的神經(jīng)元失效將會(huì)影響整個(gè)網(wǎng)絡(luò)的性能，而本地學(xué)習(xí)規(guī)則解決了這個(gè)魯棒性的問(wèn)題。

(3) 每一層的連接權(quán)重的平方和趨向于不超過(guò)該層的神經(jīng)元個(gè)數(shù)，保證了網(wǎng)絡(luò)學(xué)習(xí)過(guò)程的收斂性。

（4）每一層的輸出強(qiáng)度（輸出的平方和）趨向于不高于該層的輸入強(qiáng)度(輸入的平方和)，而且對(duì)于約典型的輸入其輸出強(qiáng)度一般就會(huì)越高，所以可以通過(guò)輸出強(qiáng)度來(lái)近似的比較輸入的概率大小。這個(gè)結(jié)論對(duì)將要提出的激活學(xué)習(xí)模型是非常關(guān)鍵的一個(gè)點(diǎn)。

3 激活學(xué)習(xí)

基于上面的本地學(xué)習(xí)規(guī)則，可以對(duì)一個(gè)多層神經(jīng)網(wǎng)絡(luò)進(jìn)行自底向上的逐層訓(xùn)練，實(shí)現(xiàn)自動(dòng)的無(wú)監(jiān)督特征提取。可以將訓(xùn)練好的網(wǎng)絡(luò)作為預(yù)訓(xùn)練模型用于各類監(jiān)督學(xué)習(xí)任務(wù), 例如識(shí)別、翻譯等， 提升學(xué)習(xí)任務(wù)的準(zhǔn)確性。這里各類監(jiān)督學(xué)習(xí)任務(wù)依然是基于反向傳播機(jī)型訓(xùn)練，并對(duì)無(wú)監(jiān)督預(yù)訓(xùn)練模型進(jìn)行微調(diào)。

但是更有意思的是，基于上面的本地學(xué)習(xí)規(guī)則可以構(gòu)建一個(gè)完全不使用反向傳播的新的AI模型，稱之為激活學(xué)習(xí)(Activation Learning), 它的核心是通過(guò)本地?zé)o監(jiān)督訓(xùn)練使得整個(gè)網(wǎng)絡(luò)的輸出強(qiáng)度(輸出的平方和)能夠估計(jì)輸入樣本的相對(duì)概率大小，即對(duì)于越經(jīng)?？吹降妮斎霕颖?，其輸出強(qiáng)度通常會(huì)越強(qiáng)。

在激活學(xué)習(xí)中，輸入樣本在歸一化之后輸入到多層神經(jīng)網(wǎng)絡(luò)。每一層包含的線性變換可以通過(guò)本地學(xué)習(xí)規(guī)則進(jìn)行訓(xùn)練。每一層的非線性激活函數(shù)需要保證輸入強(qiáng)度（平方和)和輸出強(qiáng)度是不變的，例如可以使用絕對(duì)值函數(shù)作為激活函數(shù)，使得網(wǎng)絡(luò)的輸出強(qiáng)度在經(jīng)過(guò)激活函數(shù)的時(shí)候不會(huì)衰減或增強(qiáng)，最終整個(gè)網(wǎng)絡(luò)的輸出強(qiáng)度能夠反映輸入樣本的相對(duì)概率大小。

如果在本地學(xué)習(xí)規(guī)則中加入了非線性激活函數(shù)，即表示神經(jīng)元j的輸出, 則激活函數(shù)無(wú)需要求輸入輸出強(qiáng)度不變，可以采用其他非線性函數(shù)例如RELU作為激活函數(shù)。激活學(xué)習(xí)的推理過(guò)程是基于輸入的已知部分來(lái)推導(dǎo)出缺失的部分，使得網(wǎng)絡(luò)最終的輸出強(qiáng)度是最大的。

例如，激活學(xué)習(xí)的網(wǎng)絡(luò)可以讓數(shù)據(jù)和標(biāo)簽(比如one-hot編碼)同時(shí)作為輸入。這樣一個(gè)訓(xùn)練好的網(wǎng)絡(luò)，當(dāng)給定一個(gè)數(shù)據(jù)和正確標(biāo)簽輸入的時(shí)候，它的輸出激活強(qiáng)度通常情況下是高于這個(gè)數(shù)據(jù)和錯(cuò)誤標(biāo)簽的輸出激活強(qiáng)度。

這樣一個(gè)激活學(xué)習(xí)模型，既可以作為判別式模型又可以作為生成式模型。當(dāng)作為判別式模型的時(shí)候(discriminative model)，它從給定數(shù)據(jù)推理出缺失的類別；當(dāng)作為生成式模型的時(shí)候(generative model)，它是從給定的類別并結(jié)合一定的隨機(jī)來(lái)推理出缺失的數(shù)據(jù)。另外，實(shí)驗(yàn)發(fā)現(xiàn)如果引入識(shí)別的反饋信息，例如對(duì)識(shí)別錯(cuò)誤的樣本賦予更高的全局的學(xué)習(xí)率，可以提升判別式模型的學(xué)習(xí)效果。

4 小樣本分類和圖片生成

在MNIST數(shù)據(jù)集（黑白的手寫體數(shù)字圖片)上的實(shí)驗(yàn)顯示，如果訓(xùn)練樣本足夠多的時(shí)候，反向傳播的準(zhǔn)確率是高于激活學(xué)習(xí)的準(zhǔn)確率。例如在60000個(gè)訓(xùn)練樣本的情況下，基于相似復(fù)雜度的神經(jīng)網(wǎng)絡(luò)，反向傳播能夠達(dá)到約1.62%的錯(cuò)誤率，而激活學(xué)習(xí)只能達(dá)到約3.37%的錯(cuò)誤率(如果將識(shí)別結(jié)果的反饋引入到激活學(xué)習(xí)，錯(cuò)誤率可以降低到2.28%)。

但是隨著訓(xùn)練樣本的減少，激活學(xué)習(xí)能夠表現(xiàn)出更加優(yōu)異的性能。例如，在6000個(gè)訓(xùn)練樣本的情況下，激活學(xué)習(xí)的錯(cuò)誤率已經(jīng)低于反向傳播的錯(cuò)誤率；在600個(gè)訓(xùn)練樣本的情況下，反向傳播的識(shí)別錯(cuò)誤率高達(dá)25.5%，但是激活學(xué)習(xí)的錯(cuò)誤率只有9.74%，這也明顯低于結(jié)合無(wú)監(jiān)督預(yù)訓(xùn)練模型的方法（錯(cuò)誤率約為20.3%)。

為了探索激活學(xué)習(xí)在少樣本下的表現(xiàn)，繼續(xù)減少樣本數(shù)量到幾個(gè)樣本。這時(shí)候，激活學(xué)習(xí)依然表現(xiàn)出一定的識(shí)別能力。

當(dāng)每個(gè)類別有2個(gè)樣本的時(shí)候，識(shí)別準(zhǔn)確率達(dá)到60.2%；當(dāng)每個(gè)類別有10個(gè)樣本的時(shí)候，識(shí)別準(zhǔn)確率可以達(dá)到85.0%。一個(gè)值得注意的現(xiàn)象是，當(dāng)每個(gè)類別有至少2個(gè)樣本的時(shí)候，在整個(gè)的訓(xùn)練過(guò)程中，測(cè)試準(zhǔn)確率沒(méi)有出現(xiàn)下降。這個(gè)跟基于反向傳播的很多模型不一樣，從一個(gè)側(cè)面反映了激活學(xué)習(xí)可能具有更好的泛化能力。

給定一個(gè)訓(xùn)練好的激活學(xué)習(xí)網(wǎng)絡(luò)，嘗試在將要識(shí)別的圖片中加入一定的干擾。如下圖所示，將圖片的一定比例的像素覆蓋或者加入一些隨機(jī)的線。這些被干擾的圖片都是模型在訓(xùn)練過(guò)程中沒(méi)有遇到過(guò)的，但是激活學(xué)習(xí)依然表現(xiàn)出了一定的識(shí)別能力。例如在圖片被覆蓋1/3(下部)的情況下，激活學(xué)習(xí)可以達(dá)到約7.5%的識(shí)別錯(cuò)誤率。

同一個(gè)訓(xùn)練好的激活學(xué)習(xí)網(wǎng)絡(luò)也可以用于圖片的生成。給定一個(gè)類別，可以通過(guò)梯度下降或者迭代的方法得到一個(gè)本地最優(yōu)的生成圖片使得整個(gè)網(wǎng)絡(luò)的輸出激活強(qiáng)度是最大的。在圖片生成的過(guò)程中可以基于隨機(jī)噪音控制一部分神經(jīng)元的輸出，從而提升生成圖片的隨機(jī)性。下圖是基于激活學(xué)習(xí)網(wǎng)絡(luò)隨機(jī)生成的圖片。

在大腦的視覺感知層，神經(jīng)元具有有限的感受野，即神經(jīng)元只能接收在一定空間范圍內(nèi)的其他神經(jīng)元的輸入。這啟發(fā)了卷積神經(jīng)網(wǎng)絡(luò)(CNN)的提出, 而且在大量的視覺任務(wù)里廣泛應(yīng)用。卷積層的工作機(jī)制同人的視覺系統(tǒng)還是具有很大的差異，一個(gè)本質(zhì)的區(qū)別是卷積層是參數(shù)共享的，即在每一個(gè)二維位置上權(quán)重參數(shù)都是一樣的，但是很難想象人的視覺系統(tǒng)會(huì)存在這樣的參數(shù)共享。下面的實(shí)驗(yàn)基于CIFAR-10數(shù)據(jù)集(彩色的10類物體圖片)研究了本地連接對(duì)于激活學(xué)習(xí)的影響。

這里實(shí)驗(yàn)的神經(jīng)網(wǎng)絡(luò)有兩層構(gòu)成，第一層是一個(gè)本地連接層，它跟卷積核大小9的卷積層具有同樣的連接結(jié)構(gòu)，但是每個(gè)位置具有自己的權(quán)重參數(shù)；第二層是一個(gè)全連接層，每一層的節(jié)點(diǎn)個(gè)數(shù)是 , 同輸入圖片的維度是一致的。

實(shí)驗(yàn)表明本地連接可以讓學(xué)習(xí)過(guò)程更加穩(wěn)定，而且可以在一定程度上提升學(xué)習(xí)的性能。基于這個(gè)雙層神經(jīng)網(wǎng)絡(luò)并結(jié)合識(shí)別結(jié)果的反饋，激活學(xué)習(xí)可以在CIFAR-10上達(dá)到41.59%的錯(cuò)誤率。

此前的生物啟發(fā)模型的基準(zhǔn)是由Krotov和Hopfield建立的，報(bào)告了49.25%的錯(cuò)誤率。他們使用了一個(gè)雙層的神經(jīng)網(wǎng)絡(luò)，第一層包含了2000個(gè)節(jié)點(diǎn)并通過(guò)生物啟發(fā)的方法進(jìn)行無(wú)監(jiān)督訓(xùn)練，第二層輸出層是通過(guò)反向傳播進(jìn)行監(jiān)督訓(xùn)練的。作為比較，同樣的網(wǎng)絡(luò)如果完全通過(guò)反向傳播訓(xùn)練可以達(dá)到44.74%的錯(cuò)誤率，而激活學(xué)習(xí)是完全沒(méi)有使用反向傳播而且獲得了更好的結(jié)果。如果使用數(shù)據(jù)增強(qiáng)包括隨機(jī)裁剪等并將第一層的節(jié)點(diǎn)數(shù)增加到 , 激活學(xué)習(xí)的識(shí)別錯(cuò)誤率可以降低到37.52%。

5 通向通用任務(wù)

為什么絕大多數(shù)深度學(xué)習(xí)模型只能適用于特定的任務(wù)？一個(gè)原因是我們?nèi)藶榈膶颖痉殖闪藬?shù)據(jù)和標(biāo)簽，并將數(shù)據(jù)作為模型的輸入將標(biāo)簽作為了輸出的監(jiān)督信息，這使得模型更傾向于僅保留對(duì)預(yù)測(cè)標(biāo)簽更有用的特征，而忽略了一些對(duì)其他任務(wù)有用的特征。而激活學(xué)習(xí)將所有可見信息作為輸入，能夠?qū)W習(xí)到訓(xùn)練樣本的概率統(tǒng)計(jì)分布和各部分之間的關(guān)聯(lián)關(guān)系，這些信息可以用于所有相關(guān)的學(xué)習(xí)任務(wù)，所以激活學(xué)習(xí)可以看成一個(gè)通用任務(wù)的模型。

事實(shí)上，當(dāng)我們?nèi)丝吹侥硞€(gè)物體并且別人告訴我們這是什么時(shí)候，我們很難界定大腦一定會(huì)將聲音信號(hào)作為輸出標(biāo)簽而將視覺信號(hào)作為輸入；至少這個(gè)學(xué)習(xí)是應(yīng)該是雙向的，即看到這個(gè)物體的時(shí)候我們會(huì)想到這是什么，而給定這是什么的時(shí)候我們也會(huì)想到這個(gè)物體的樣子。

激活學(xué)習(xí)也可以用于多模態(tài)學(xué)習(xí)。例如，給定訓(xùn)練樣本包含圖片和文字模態(tài)的時(shí)候，它可能建立圖片和文字的關(guān)聯(lián)；當(dāng)給定訓(xùn)練樣本包含文字和聲音模態(tài)的時(shí)候，它可能建立文字與聲音的關(guān)聯(lián)。激活學(xué)習(xí)具有潛力成為一個(gè)關(guān)聯(lián)記憶體(associative memory)模型，建立各類相關(guān)內(nèi)容之間的關(guān)聯(lián)，并通過(guò)傳播的方式查詢或激活相關(guān)的內(nèi)容。普遍認(rèn)為這種關(guān)聯(lián)記憶能力在人類智能中發(fā)揮非常重要的作用。但是，這里還需要解決局部輸入數(shù)據(jù)訓(xùn)練的問(wèn)題和災(zāi)難性遺忘的問(wèn)題。

除了作為一個(gè)新的AI模型，激活學(xué)習(xí)的研究也具有其它的價(jià)值。例如，可以更容易的支持光神經(jīng)網(wǎng)絡(luò)、憶阻器神經(jīng)網(wǎng)絡(luò)等基于物理實(shí)現(xiàn)的神經(jīng)網(wǎng)絡(luò)系統(tǒng)的片上訓(xùn)練(on-chip training), 避免因?yàn)榛疚锢碓然蛘呔幊淘胍魧?dǎo)致整個(gè)系統(tǒng)計(jì)算精度下降。它也可能結(jié)合生物實(shí)驗(yàn)啟發(fā)我們更好的理解大腦的工作機(jī)制, 例如是否本地的訓(xùn)練規(guī)則存在一定的生物學(xué)解釋。研究者周洪超說(shuō)"相信大多數(shù)復(fù)雜系統(tǒng)背后是由簡(jiǎn)單的數(shù)學(xué)規(guī)則所主宰，而大腦就是這樣一個(gè)奇妙的系統(tǒng); 最終我們的目的是設(shè)計(jì)更聰明的機(jī)器"。