作為如今最成功的人工智能算法，人工神經(jīng)網(wǎng)絡，可以松散地模擬了人腦中真實神經(jīng)網(wǎng)絡的復雜鏈接。 不過與人腦的高能效相比，實在是太費電了。

于是，神經(jīng)擬態(tài)計算應運而生，這種技術(shù)更貼近模仿了人腦的運作機理與物理定律。 然而，由于器件失配難題，模擬神經(jīng)元的質(zhì)性會與設(shè)計略有不同，且電壓和電流水平在不同的神經(jīng)元之間也有差異。 相比之下，AI算法的訓練則是在具有完全一致的數(shù)字神經(jīng)元的計算機上完成的。
因此，實際在神經(jīng)擬態(tài)芯片上運行時，經(jīng)常會出現(xiàn)「水土不服」的問題。  2022年1月在美國國家科學院院刊上發(fā)布的一篇論文，揭示了繞過此難題的一種途徑。

論文鏈接：https://www.pnas.org/content/119/4/e2109194119 

由瑞士弗雷德里希米歇爾生物醫(yī)療研究所的研究者弗里德曼·曾克，與德國海德堡大學的研究者約翰內(nèi)斯·希密爾聯(lián)合組成的團隊，在脈沖神經(jīng)網(wǎng)絡這一類型的AI算法上獲得新進展。 脈沖神經(jīng)網(wǎng)絡使用模仿人腦中的特色脈沖交流訊號，可以在神經(jīng)擬態(tài)芯片上運行，學會如何代償芯片中的器件失配。 此論文是AI邁向神經(jīng)擬態(tài)運算的顯著一步。 

模擬神經(jīng)網(wǎng)絡

與現(xiàn)有AI運行設(shè)備不同，神經(jīng)擬態(tài)計算并不將數(shù)據(jù)在長間隔距離的CPU與存儲卡之間搬運。 神經(jīng)擬態(tài)芯片設(shè)計模仿果凍般人腦的基礎(chǔ)架構(gòu)，將計算單元（神經(jīng)元）置于存儲單元（連接神經(jīng)元的突觸）旁邊。 為了讓設(shè)計更像人腦，研究者將神經(jīng)擬態(tài)芯片結(jié)合模擬計算，如此能像真實神經(jīng)元一樣處理持續(xù)不斷的信號。

這樣產(chǎn)出的芯片，與現(xiàn)下依賴處理０與１的二元基礎(chǔ)信號的數(shù)碼計算模式和架構(gòu)，有顯著不同。 以人腦作為設(shè)計指南，神經(jīng)擬態(tài)芯片承諾有朝一日終結(jié)AI等大數(shù)據(jù)量運算工作的高耗能。不幸的是，AI算法在神經(jīng)擬態(tài)芯片的模擬版本上運行效果不佳。 這是因為器件失配的缺陷：在生產(chǎn)過程中，芯片里模擬神經(jīng)元的微型組件大小出現(xiàn)不匹配。 由于單個芯片不足以運行最新的AI訓練過程，算法必須在傳統(tǒng)計算機上進行預訓練。 但之后將算法轉(zhuǎn)輸?shù)叫酒蠒r，一旦遇上模擬硬件不匹配的問題，算法就兩眼一抹黑了。 

基于人腦設(shè)計的計算模式是模擬計算而非數(shù)碼計算，這點差別微妙而關(guān)鍵。 數(shù)碼計算只能有效呈現(xiàn)人腦脈沖信號的二元性方面：脈沖信號作為一道沖過神經(jīng)元的電信號，狀態(tài)具有二元性，要么輸出了，要么沒輸出，這就是0與1的區(qū)別。

不過事實上因為人腦細胞中有電壓變化，當細胞內(nèi)電壓超過比細胞外電壓高到一定程度的特定閾值，就會輸出脈沖。 如此一來，脈沖是在一定時段內(nèi)持續(xù)不絕地輸出的，而且神經(jīng)元決定輸出脈沖的狀態(tài)也是持續(xù)不絕的，這其實是一種模擬信號的狀態(tài)。 瑞士蘇黎世聯(lián)邦理工學院的神經(jīng)擬態(tài)工程研究者夏洛特·弗倫克爾說：「模擬態(tài)體現(xiàn)了人腦運算模式的核心之美。成功效仿人腦的這一關(guān)鍵方面，將是神經(jīng)擬態(tài)運算的主驅(qū)動因素之一。」 2011年，海德堡大學的一組研究人員開始開發(fā)一種既有模擬態(tài)又有數(shù)碼態(tài)的神經(jīng)擬態(tài)芯片，為神經(jīng)科學實驗模擬大腦。

此后，團隊又發(fā)布了新一版的芯片「BrainScaleS-2」，其中每個模擬神經(jīng)元都模擬了腦細胞的輸入-輸出電流和電壓變化。 不過，由于材質(zhì)的導電質(zhì)性不同于真人腦，芯片在速度上要比人腦快1000倍。 

在這項新的工作中，通過將芯片納入算法的訓練過程，脈沖神經(jīng)網(wǎng)絡可以學習如何糾正BrainScaleS-2芯片上的電壓差別。 為了處理器件失配的問題，團隊還專門為脈沖神經(jīng)網(wǎng)絡開發(fā)了全新的方法，將芯片用梯度替代法這種學習方法與計算機交互。 梯度替代法通過持續(xù)改變神經(jīng)元之間的連接，來盡量減少神經(jīng)網(wǎng)絡在執(zhí)行任務中的錯誤數(shù)量（類似于非脈沖神經(jīng)網(wǎng)絡使用的反向傳播）。

梯度替代法能夠在計算機上的訓練過程中糾正芯片的不完善之處。 首先，讓脈沖神經(jīng)網(wǎng)絡利用芯片上模擬神經(jīng)元的不同電壓執(zhí)行一項簡單的任務，并將電壓的記錄發(fā)回計算機。 然后，讓算法自動學習如何最好地改變其神經(jīng)元之間的連接，以便仍能與模擬神經(jīng)元很好地配合，在學習的同時持續(xù)更新芯片上的神經(jīng)元。 最終，當訓練完成后，脈沖神經(jīng)網(wǎng)絡就能在芯片上順利地執(zhí)行任務了。 

研究人員表示，他們的神經(jīng)網(wǎng)絡在語音和視覺任務上，達到了與在計算機上執(zhí)行任務的頂級脈沖神經(jīng)網(wǎng)絡相同的準確性。 換句話說，該算法準確地了解到它需要做哪些改變來克服器件失配的問題。 蘇塞克斯大學的計算神經(jīng)科學家托馬斯·諾沃特尼表示：「這個系統(tǒng)正如預期的那樣具有令人印象深刻的能效：運行所消耗的能量比標準處理器少1000倍左右?！?/span> 然而，弗倫克爾指出，神經(jīng)擬態(tài)芯片仍然需要在為類似的語音和視覺識別任務而特別優(yōu)化的硬件面前證明自己。 諾沃特尼也指出，這種方法可能難以擴展到大型的實際任務，因為它仍然需要在計算機和芯片之間來回搬運數(shù)據(jù)。 團隊的終極目標則是讓脈沖神經(jīng)網(wǎng)絡可以自始至終地在神經(jīng)擬態(tài)芯片上訓練和運行，而不需要借助傳統(tǒng)計算機。 不過，設(shè)計并生產(chǎn)所需的新一代芯片可能要數(shù)年的時間。

作者介紹

弗里德曼·曾克

瑞士蘇黎世弗雷德里希米歇爾生物醫(yī)療研究所的神經(jīng)計算科學家。主研究方向為仿生的脈沖神經(jīng)網(wǎng)絡的學習、記憶、信息處理過程，以及機器學習與神經(jīng)計算科學的交匯。  

約翰內(nèi)斯·希密爾

德國海德堡大學物理學院專用集成電路實驗室主任、電子視覺研究組負責人。研究方向是混合態(tài)超大規(guī)模集成電路系統(tǒng)的信息處理應用，特別是仿生神經(jīng)網(wǎng)絡模型的模擬應用方向。