本篇工作發(fā)表在《Nature Computational Science》上，共同通訊作者是中國科學(xué)院自動(dòng)化所李國齊研究員、徐波研究員，北京大學(xué)田永鴻教授。共同一作是清華大學(xué)錢學(xué)森班的本科生何林軒（自動(dòng)化所實(shí)習(xí)生）、數(shù)理基科班本科生徐蘊(yùn)輝（自動(dòng)化所實(shí)習(xí)生），清華大學(xué)精儀系博士生何煒華和林逸晗。

讓模型具有更加廣泛和通用的認(rèn)知能力，是當(dāng)前人工智能（AI）領(lǐng)域發(fā)展的重要目標(biāo)。目前流行的大模型路徑是基于 Scaling Law (尺度定律) 去構(gòu)建更大、更深和更寬的神經(jīng)網(wǎng)絡(luò)提升模型的表現(xiàn)，可稱之為 “基于外生復(fù)雜性” 的通用智能實(shí)現(xiàn)方法。然而，這一路徑也面臨著一些難以克服的困境，例如高昂的計(jì)算資源消耗和能源消耗，并且在可解釋性方面存在不足。

人工智能與神經(jīng)科學(xué)長期以來相互依存，協(xié)同發(fā)展。為了克服 “基于外生復(fù)雜性” 實(shí)現(xiàn)通用智能的困境，中國科學(xué)院自動(dòng)化研究所李國齊、徐波研究團(tuán)隊(duì)聯(lián)合清華大學(xué)、北京大學(xué)等借鑒大腦神經(jīng)元復(fù)雜動(dòng)力學(xué)特性，提出了 “基于內(nèi)生復(fù)雜性” 的類腦神經(jīng)元模型構(gòu)建方法 （圖 1），改善了傳統(tǒng)模型通過向外拓展規(guī)模帶來的計(jì)算資源消耗問題，為有效利用神經(jīng)科學(xué)發(fā)展人工智能提供了示例。Nature Computational Science 期刊對(duì)此評(píng)論道：“AI 研究更加貼近工程與應(yīng)用，而神經(jīng)科學(xué)的研究更加具有探索性。研究團(tuán)隊(duì)挑戰(zhàn)了這一傳統(tǒng)觀點(diǎn)，并表明更詳細(xì)且生物學(xué)上更真實(shí)的神經(jīng)元模型可以推動(dòng)深度學(xué)習(xí)取得更大進(jìn)展?！?/span>

• 論文鏈接：https://www.nature.com/articles/s43588-024-00674-9
• 評(píng)論鏈接：https://www.nature.com/articles/s43588-024-00677-6

圖 1. “外生復(fù)雜性” 和 “內(nèi)生復(fù)雜性” 定義示意圖。內(nèi)生復(fù)雜性是指向內(nèi)借鑒大腦神經(jīng)元復(fù)雜動(dòng)力學(xué)特性構(gòu)建神經(jīng)網(wǎng)絡(luò)基元模型

具有內(nèi)生復(fù)雜性的小網(wǎng)絡(luò)模型：生物神經(jīng)元的啟示

生物神經(jīng)元具有復(fù)雜的內(nèi)部結(jié)構(gòu)，例如離子通道、突觸傳遞機(jī)制等，這些復(fù)雜的內(nèi)部結(jié)構(gòu)使得神經(jīng)元能夠處理復(fù)雜的信號(hào)并產(chǎn)生多樣化的響應(yīng)。相比之下，目前的人工脈沖神經(jīng)網(wǎng)絡(luò)模型，例如經(jīng)典的 LIF （Leaky Integrate and Fire）網(wǎng)絡(luò)，通常采用簡單的內(nèi)部結(jié)構(gòu)，難以模擬生物神經(jīng)元的復(fù)雜動(dòng)力學(xué)和功能。

在這項(xiàng)研究中，研究者提出了 “具有內(nèi)生復(fù)雜性的小網(wǎng)絡(luò)模型” 這一概念，其核心思路是通過模擬生物神經(jīng)元的復(fù)雜動(dòng)力學(xué)，將復(fù)雜的內(nèi)部結(jié)構(gòu)引入單個(gè)神經(jīng)元，從而構(gòu)建更高效的 AI 模型。例如在本研究中，研究者在脈沖神經(jīng)網(wǎng)絡(luò)中使用 HH（Hodgkin-Huxley）模型來替代傳統(tǒng)的 LIF 模型。作為一種描述神經(jīng)元?jiǎng)幼麟娢划a(chǎn)生機(jī)制的數(shù)學(xué)模型，HH 模型具有由復(fù)雜的內(nèi)部結(jié)構(gòu)帶來的精細(xì)動(dòng)力學(xué)，可以模擬神經(jīng)元對(duì)各種刺激的響應(yīng)。

從外生復(fù)雜性至內(nèi)生復(fù)雜性的轉(zhuǎn)化

理論動(dòng)力學(xué)推導(dǎo)與仿真

研究團(tuán)隊(duì)通過理論證明了 HH 模型與 LIF 模型在動(dòng)作電位產(chǎn)生機(jī)制上存在某種等效關(guān)系，即一個(gè) HH 神經(jīng)元可以和四個(gè)時(shí)變參數(shù) LIF 神經(jīng)元（tv-LIF）以特定連接方式形成的微結(jié)構(gòu)等效，其中每個(gè) LIF 神經(jīng)元描述 HH 模型中的一個(gè)離子通道?；谶@種等效性，可以通過設(shè)計(jì)微結(jié)構(gòu)提升計(jì)算單元的內(nèi)生復(fù)雜性，使 HH 網(wǎng)絡(luò)模型能夠模擬更大規(guī)模 LIF 網(wǎng)絡(luò)模型的動(dòng)力學(xué)特性，在更小的網(wǎng)絡(luò)結(jié)構(gòu)上實(shí)現(xiàn)與之相似的計(jì)算功能。

研究團(tuán)隊(duì)通過模擬神經(jīng)元刺激輸入對(duì)比網(wǎng)絡(luò)輸出對(duì)該理論進(jìn)行了仿真驗(yàn)證。在相同的輸入刺激下，具有更高外生復(fù)雜性的 tv-LIF 網(wǎng)絡(luò)能夠與 HH 模型產(chǎn)生相同的輸出響應(yīng)。進(jìn)一步，團(tuán)隊(duì)將由四個(gè) tv-LIF 神經(jīng)元構(gòu)建的 “HH 模型”（tv-LIF2HH）簡化為 s-LIF2HH 模型，通過仿真實(shí)驗(yàn)驗(yàn)證了這種簡化模型依然保有捕捉 HH 模型動(dòng)力學(xué)行為的可能性 （圖 2）。

圖 2. “外生復(fù)雜性” 和 “內(nèi)生復(fù)雜性” 神經(jīng)元能夠保持等效的動(dòng)力學(xué)行為，為計(jì)算任務(wù)簡化后仍舊能夠保持相近的動(dòng)力學(xué)行為

網(wǎng)絡(luò)學(xué)習(xí)實(shí)驗(yàn)對(duì)比

除了通過仿真研究相同刺激下不同網(wǎng)絡(luò)的動(dòng)力學(xué)行為，研究者構(gòu)建了更大規(guī)模的 HH 網(wǎng)絡(luò)模型， s-LIF2HH 網(wǎng)絡(luò)模型，并進(jìn)行了多任務(wù)分類和深度強(qiáng)化學(xué)習(xí)實(shí)驗(yàn)。結(jié)果表明，具有內(nèi)生復(fù)雜性 HH 網(wǎng)絡(luò)模型能夠與更大規(guī)模的 s-LIF2HH 網(wǎng)絡(luò)模型在表示能力和魯棒性上具有相似的性能，相比更大規(guī)模的一般 LIF 網(wǎng)絡(luò)表現(xiàn)出更好的性能。

• 多任務(wù)學(xué)習(xí)實(shí)驗(yàn)：研究者通過使用 Fashion-MNIST 數(shù)據(jù)集進(jìn)行多任務(wù)學(xué)習(xí)實(shí)驗(yàn)，結(jié)果表明 HH 網(wǎng)絡(luò)模型能夠與更大規(guī)模的 s-LIF2HH 網(wǎng)絡(luò)模型實(shí)現(xiàn)相當(dāng)性能，甚至略優(yōu)于更大規(guī)模的一般 LIF 網(wǎng)絡(luò)（圖 3）。

圖 3. 具有內(nèi)生復(fù)雜性的 HH 網(wǎng)絡(luò)模型在多任務(wù)上能與更大規(guī)模外生復(fù)雜性網(wǎng)絡(luò)絡(luò)性能相當(dāng)

• 時(shí)序強(qiáng)化學(xué)習(xí)實(shí)驗(yàn)：研究者在倒立擺（Inverted Pendulum）和倒立雙擺（Inverted Double Pendulum）環(huán)境下進(jìn)行時(shí)序強(qiáng)化學(xué)習(xí)實(shí)驗(yàn)，結(jié)果表明 HH 網(wǎng)絡(luò)模型能夠與更大規(guī)模的 LIF 網(wǎng)絡(luò)模型相比，表現(xiàn)出更強(qiáng)的時(shí)序信息提取能力（圖 4）。

圖 4. 具有內(nèi)生復(fù)雜性的 HH 網(wǎng)絡(luò)模型在時(shí)序強(qiáng)化學(xué)習(xí)任務(wù)上能與更大規(guī)模外生復(fù)雜性網(wǎng)絡(luò)性能相當(dāng)

• 魯棒性實(shí)驗(yàn)：研究者在多任務(wù)學(xué)習(xí)和深度強(qiáng)化學(xué)習(xí)任務(wù)中添加高斯噪聲，以評(píng)估網(wǎng)絡(luò)的魯棒性。實(shí)驗(yàn)結(jié)果顯示，更大規(guī)模的一般 LIF 網(wǎng)絡(luò)模型在噪聲影響下性能下降幅度最大，而 HH 網(wǎng)絡(luò)模型和更大規(guī)模的 s-LIF2HH 網(wǎng)絡(luò)模型則表現(xiàn)出更強(qiáng)的魯棒性。在噪聲強(qiáng)度增加的情況下，HH 網(wǎng)絡(luò)模型和 s-LIF2HH 網(wǎng)絡(luò)模型的獎(jiǎng)勵(lì)曲線仍然保持接近，并且相比一般 LIF 網(wǎng)絡(luò)模型受到的影響顯著地更?。▓D 5）。

圖 5. 具有內(nèi)生復(fù)雜性的 HH 網(wǎng)絡(luò)模型比更大規(guī)模外生復(fù)雜性網(wǎng)絡(luò)具有更好的魯棒性

實(shí)驗(yàn)證明了內(nèi)生復(fù)雜性模型在處理復(fù)雜任務(wù)時(shí)的有效性和可靠性。同時(shí)，研究發(fā)現(xiàn) HH 網(wǎng)絡(luò)模型在計(jì)算資源消耗上更為高效，顯著減少了內(nèi)存和計(jì)算時(shí)間的使用，從而提高了整體的運(yùn)算效率。研究團(tuán)隊(duì)通過信息瓶頸理論對(duì)上述研究結(jié)果進(jìn)行了解釋。除此之外，小規(guī)模的模型外部結(jié)構(gòu)相對(duì)簡單，更容易理解其決策過程，這也提高了模型的可解釋性和安全性。

結(jié)語與展望

具有內(nèi)生復(fù)雜性的小型模型為 AI 的發(fā)展帶來了新的機(jī)遇。通過模擬生物神經(jīng)元的復(fù)雜動(dòng)力學(xué)，優(yōu)化模型的局部微結(jié)構(gòu)擴(kuò)展內(nèi)生復(fù)雜性，我們可以構(gòu)建更高效、更強(qiáng)大的 AI 模型，并克服外部復(fù)雜性大型模型的困境。未來，拓展內(nèi)生復(fù)雜性或?qū)⒊蔀?AI 研究的重要方向，并推動(dòng) AI 技術(shù)走向更廣泛的應(yīng)用。

本研究為將神經(jīng)科學(xué)的復(fù)雜動(dòng)力學(xué)特性融入人工智能提供了新的方法和理論支持，為實(shí)際應(yīng)用中的 AI 模型優(yōu)化和性能提升提供了可行的解決方案。目前，研究團(tuán)隊(duì)已開展對(duì)更大規(guī)模 HH 網(wǎng)絡(luò)，以及具備更大內(nèi)生復(fù)雜性的多分枝多房室神經(jīng)元的研究，有望進(jìn)一步提升大模型計(jì)算效率與任務(wù)處理能力，實(shí)現(xiàn)在實(shí)際應(yīng)用場景中的快速落地。