看來(lái)人工智能的發(fā)展還任重道遠(yuǎn)。

來(lái)自耶路撒冷希伯來(lái)大學(xué)的研究者對(duì)單個(gè)神經(jīng)元的計(jì)算復(fù)雜度進(jìn)行了研究，他們通過(guò)訓(xùn)練人工深度神經(jīng)網(wǎng)絡(luò)來(lái)模擬生物神經(jīng)元的計(jì)算，得出深度神經(jīng)網(wǎng)絡(luò)需要 5 至 8 層互連神經(jīng)元才能表征（或達(dá)到）單個(gè)生物神經(jīng)元的復(fù)雜度。

人類糊狀的大腦似乎與計(jì)算機(jī)處理器中的固態(tài)硅芯片相去甚遠(yuǎn)，但科學(xué)家將二者進(jìn)行比較已經(jīng)有很多年的歷史。正如「人工智能之父」阿蘭 · 圖靈在 1952 年所說(shuō)，「我們對(duì)大腦具有冷粥粘稠度這一事實(shí)不感興趣?！箵Q句話說(shuō)，介質(zhì)不重要，重要的是計(jì)算能力。

[[421556]]

當(dāng)前，最強(qiáng)大的 AI 系統(tǒng)采用機(jī)器學(xué)習(xí)的一個(gè)分支——深度學(xué)習(xí)，這些 AI 系統(tǒng)的算法通過(guò)處理互連節(jié)點(diǎn)隱藏層的大量數(shù)據(jù)來(lái)學(xué)習(xí)，這被稱為深度神經(jīng)網(wǎng)絡(luò)。顧名思義，深度神經(jīng)網(wǎng)絡(luò)受到了人類大腦中真實(shí)神經(jīng)網(wǎng)絡(luò)的啟發(fā)，它們的節(jié)點(diǎn)模擬真實(shí)神經(jīng)元?；蛘咧辽俑鶕?jù) 1950 年代神經(jīng)科學(xué)家對(duì)神經(jīng)元的了解，當(dāng)時(shí)一個(gè)被稱作「感知器」的有影響力的神經(jīng)元模型已經(jīng)誕生了。

自那時(shí)起，我們對(duì)單個(gè)神經(jīng)元的計(jì)算復(fù)雜度的理解急劇增加，也清楚了生物神經(jīng)元要比人工神經(jīng)元更加復(fù)雜。但復(fù)雜多少呢？這個(gè)問(wèn)題一直沒(méi)有明確的解答。

為了找出答案，耶路撒冷希伯來(lái)大學(xué)的計(jì)算神經(jīng)科學(xué)博士生 David Beniaguev、神經(jīng)科學(xué)教授 Idan Segev 和副教授 Michael London 訓(xùn)練了一個(gè)人工深度神經(jīng)網(wǎng)絡(luò)來(lái)模擬生物神經(jīng)元的計(jì)算。他們表示，一個(gè)深度神經(jīng)網(wǎng)絡(luò)需要 5 至 8 層互連神經(jīng)元才能表征（或達(dá)到）單個(gè)生物神經(jīng)元的復(fù)雜度。

作者們也沒(méi)有預(yù)料到會(huì)呈現(xiàn)出這種復(fù)雜度。一作 Beniaguev 表示：「我原以為生物神經(jīng)元會(huì)更簡(jiǎn)單些，3 至 4 層人工神經(jīng)元就足以捕獲細(xì)胞內(nèi)執(zhí)行的計(jì)算?！?/p>

從左至右依次為耶路撒冷希伯來(lái)大學(xué)博士生 David Beniaguev、神經(jīng)科學(xué)教授 Idan Segev 和副教授 Michael London。

他們還發(fā)表了相關(guān)論文《Single Cortical Neurons as Deep Artificial Neural Networks》。

論文地址：https://www.sciencedirect.com/science/article/abs/pii/S0896627321005018

DeepMind 決策算法設(shè)計(jì)師 Timothy Lillicrap 認(rèn)為，新的研究結(jié)果表明有必要重新思考將大腦神經(jīng)元與機(jī)器學(xué)習(xí)領(lǐng)域神經(jīng)元進(jìn)行松散比較的舊傳統(tǒng)了。

5 至 8 層人工神經(jīng)元才能達(dá)到單個(gè)生物神經(jīng)元的復(fù)雜度

人工神經(jīng)元和生物神經(jīng)元之間最基本的比較是它們?nèi)绾翁幚韨魅氲男畔ⅰ＿@兩種神經(jīng)元都接收傳入信號(hào)，并根據(jù)輸入信息決定是否將信號(hào)發(fā)送給其他神經(jīng)元。雖然人工神經(jīng)元依賴簡(jiǎn)單的計(jì)算做出決定，但數(shù)十年的研究表明，生物神經(jīng)元的這個(gè)過(guò)程要復(fù)雜得多。計(jì)算神經(jīng)科學(xué)家使用輸入 - 輸出函數(shù)來(lái)模擬生物神經(jīng)元樹突接收到的輸入與神經(jīng)元發(fā)出信號(hào)之間的關(guān)系。

研究者讓一個(gè)人工深度神經(jīng)網(wǎng)絡(luò)模仿輸入 - 輸出函數(shù)（生物神經(jīng)元樹突接收到的輸入與神經(jīng)元發(fā)出信號(hào)之間的關(guān)系），以確定其復(fù)雜性。他們首先對(duì)一種神經(jīng)元的輸入 - 輸出函數(shù)進(jìn)行了大規(guī)模模擬，這種神經(jīng)元的頂部和底部有不同的樹突分支，稱為錐體神經(jīng)元，來(lái)自大鼠的皮層。然后，他們將模擬結(jié)果輸入到一個(gè)深度神經(jīng)網(wǎng)絡(luò)中，該神經(jīng)網(wǎng)絡(luò)每層最多有 256 個(gè)人工神經(jīng)元。

接著，他們不斷的增加層數(shù)，直到在模擬神經(jīng)元的輸入和輸出之間達(dá)到毫秒級(jí)別 99% 的準(zhǔn)確率。深度神經(jīng)網(wǎng)絡(luò)成功地預(yù)測(cè)了神經(jīng)元的輸入 - 輸出函數(shù)的行為，所使用的層數(shù)至少有 5 層，但不超過(guò) 8 層。在大多數(shù)網(wǎng)絡(luò)中，這相當(dāng)于 1000 個(gè)人工神經(jīng)元對(duì)應(yīng)一個(gè)生物神經(jīng)元。

如下圖 2 所示，具有 7 個(gè)隱藏層、每層包含 128 個(gè)特征圖的時(shí)間卷積網(wǎng)絡(luò)（TCN）忠實(shí)地捕獲了一個(gè) L5PC （layer 5 pyramidal neuron）模型。

在下圖 3 中，研究者展示了沒(méi)有 N - 甲基天冬氨酸（NMDA）突觸的 L5PC 神經(jīng)元，它能夠被具有單個(gè)隱藏層（包含 128 個(gè)隱藏單元）的深度神經(jīng)網(wǎng)絡(luò)忠實(shí)地捕獲。其中 A 為 L5PC 模型示意圖、B 為類比的深度神經(jīng)網(wǎng)絡(luò)。

現(xiàn)在已經(jīng)了解了單個(gè)神經(jīng)元的計(jì)算復(fù)雜度，如下動(dòng)圖所示，左邊的椎體神經(jīng)元依賴樹突狀的分支，這些分支會(huì)受到信號(hào)的影響。在神經(jīng)元決定是否發(fā)送 spike 信號(hào)之前，信號(hào)變化會(huì)導(dǎo)致局部電壓變化，表現(xiàn)為神經(jīng)元顏色的變化（紅色表示高電壓，藍(lán)色表示低電壓）。這一 spike 出現(xiàn)了 3 次，如右側(cè)單個(gè)分支的軌跡所示，顏色代表樹突從頂部（紅色）到底部（藍(lán)色）的位置。

來(lái)自貝勒醫(yī)學(xué)院的計(jì)算神經(jīng)科學(xué)家 Andreas Tolias 表示，這種結(jié)果建立了從生物神經(jīng)元到人工神經(jīng)元的橋梁。但研究者表示，這還不是一個(gè)直接的對(duì)應(yīng)關(guān)系（生物神經(jīng)元到人工神經(jīng)元）。

Michael London 認(rèn)為「神經(jīng)網(wǎng)絡(luò)中的層數(shù)與網(wǎng)絡(luò)的復(fù)雜性之間的關(guān)系并不明顯，所以我們不能說(shuō)網(wǎng)絡(luò)層數(shù)從四層增加到五層復(fù)雜度會(huì)增加多少。我們也不能說(shuō)需要 1,000 個(gè)人工神經(jīng)元就意味著生物神經(jīng)元的復(fù)雜度恰好是生物神經(jīng)元的 1,000 倍。最終，即使在每一層中使用指數(shù)級(jí)的人工神經(jīng)元，最終也有可能形成只有一層的深層神經(jīng)網(wǎng)絡(luò)——但這可能需要更多的數(shù)據(jù)和時(shí)間來(lái)讓算法學(xué)習(xí)?！?/p>

研究者嘗試了很多架構(gòu)，幾乎都失敗了。他們還公開了代碼，以鼓勵(lì)其他研究人員找到更少層的解決方案。但是，找到一種能夠模仿神經(jīng)元且準(zhǔn)確率高達(dá) 99% 的深度神經(jīng)網(wǎng)絡(luò)是非常困難，研究者相信他們的結(jié)果為進(jìn)一步的研究提供了有意義的比較。

Timothy Lillicrap 認(rèn)為，這可能提供了一種新的方法，將圖像分類網(wǎng)絡(luò)（通常需要 50 層以上）與大腦聯(lián)系起來(lái)。如果每個(gè)生物神經(jīng)元都像一個(gè)五層人工神經(jīng)網(wǎng)絡(luò)，那么一個(gè) 50 層的圖像分類網(wǎng)絡(luò)可能相當(dāng)于一個(gè)生物網(wǎng)絡(luò)中的 10 個(gè)真實(shí)神經(jīng)元。

此外，該研究還希望他們的結(jié)果將改變 SOTA 人工智能深度網(wǎng)絡(luò)架構(gòu)?！肝覀兒粲跆鎿Q深度網(wǎng)絡(luò)技術(shù)，使其工作方式更接近大腦，這一實(shí)現(xiàn)過(guò)程是將深度網(wǎng)絡(luò)中的每個(gè)簡(jiǎn)單單元替換為代表神經(jīng)元單元，而這種神經(jīng)元單元本身就是有深度的，」Segev 表示。在這種替代方案中，AI 研究人員和工程師可以插入一個(gè)五層深度網(wǎng)絡(luò)作為「迷你網(wǎng)絡(luò)」，用來(lái)取代每一個(gè)人工神經(jīng)元。

各路專家學(xué)者如何看

但有些人懷疑這是否真的有利于 AI。「我認(rèn)為這是一個(gè)懸而未決的問(wèn)題，這種做法是否存在實(shí)際的計(jì)算優(yōu)勢(shì)，」來(lái)自冷泉港實(shí)驗(yàn)室的神經(jīng)科學(xué)家 Anthony Zador 表示道。這項(xiàng)工作為測(cè)試奠定了基礎(chǔ)。

除了 AI 應(yīng)用之外，該研究還加深了人們對(duì)樹突狀樹和單個(gè)神經(jīng)元強(qiáng)大計(jì)算能力的共識(shí)。早在 2003 年，三名神經(jīng)科學(xué)家展示了錐體神經(jīng)元的樹突樹可以進(jìn)行復(fù)雜的計(jì)算，通過(guò)將其建模為兩層人工神經(jīng)網(wǎng)絡(luò)。在這項(xiàng)新研究中，研究者探索了金字塔神經(jīng)元的哪些特征激發(fā)了 5 到 8 層深度神經(jīng)網(wǎng)絡(luò)的復(fù)雜性。他們得出結(jié)論，這來(lái)自樹突樹，樹突表面接收化學(xué)信使的特定受體——這一發(fā)現(xiàn)與先前研究者在該領(lǐng)域的研究一致。

而一些人認(rèn)為，這一結(jié)果意味著神經(jīng)科學(xué)家應(yīng)該把單個(gè)神經(jīng)元的研究放在更重要的位置?！高@篇論文使得對(duì)樹突和單個(gè)神經(jīng)元的思考比以前更加重要」，賓夕法尼亞大學(xué)計(jì)算神經(jīng)科學(xué)家 Konrad Kording 說(shuō)。另外還有一些人如 Lillicrap 和 Zador，它們認(rèn)為關(guān)注回路中的神經(jīng)元對(duì)于了解大腦如何實(shí)際利用單個(gè)神經(jīng)元的計(jì)算復(fù)雜性同樣重要。

無(wú)論如何，人工神經(jīng)網(wǎng)絡(luò)的語(yǔ)言可能為理解神經(jīng)元和大腦的能力提供新的洞見。倫敦大學(xué)學(xué)院的計(jì)算神經(jīng)科學(xué)家 Grace Lindsay 表示：「從層數(shù)、深度和寬度這幾方面思考讓我們對(duì)計(jì)算復(fù)雜度有了更直觀的認(rèn)識(shí)，不過(guò)這項(xiàng)研究仍然只是模型與模型之間的比較。」

遺憾的是，目前神經(jīng)科學(xué)家無(wú)法記錄真實(shí)神經(jīng)元的完整輸入 - 輸出功能，因此生物神經(jīng)元模型無(wú)法捕獲到的信息可能更多。也就是說(shuō)，真實(shí)神經(jīng)元可能更加復(fù)雜。

Michael London 對(duì)此也表示：「我們并不確定 5 至 8 層是否就是最終數(shù)字?！?/p>