超高效人工光電神經元成真?速度比自然神經元快3萬倍,研究登Nature子刊
在人工神經網絡中,被稱之為神經元的諸多組件被植入數(shù)據(jù)并協(xié)同來解決諸如人臉識別等問題。神經網絡反復調整相互間的突觸——一種神經元之間的連接,確定由此產生的行為模式是否為更佳的解決方案。但隨著時間推移,神經網絡最終會在計算的結果中發(fā)現(xiàn)最佳的行為模式。而后它會選取這些模式作為默認值,模仿人腦的學習過程。
盡管 AI 系統(tǒng)被逐步發(fā)掘更多真實世界中的應用,但鑒于用于驅動其運行的硬件局限性,它們仍面臨諸多重大挑戰(zhàn)。為了解決這個問題,研究人員已經開發(fā)出了受人腦啟發(fā)的神經形態(tài)計算機硬件。
例如,神經形態(tài)的微芯片組件可能僅會在一定時間內接受到特定數(shù)量的輸入信號時,才可能發(fā)出尖峰信號或者生成一種輸出信號。這是一種更接近模擬真實生物神經元行為方式的策略。與典型的人工神經網絡相比,這些設備僅發(fā)出極少的尖峰信號,因此所處理的數(shù)據(jù)將會少得多,同時原則上所需功率和通信帶寬會小很多。
然而,神經形態(tài)硬件通常使用傳統(tǒng)電子設備,這最終會限制它們可實現(xiàn)的復雜功能和信號傳遞速度。舉例來說,每個生物神經元都可以擁有數(shù)萬個突觸,但神經形態(tài)設備很難將它們的人工神經元相互連接起來。對此,一種有效的解決方案就是多路復用,即一個信號通道可以同時承載更多的信號。然而,隨著芯片變得更大、更復雜精細,運算速度可能會遲緩。
在近期一項新研究中,美國國家標準與技術研究院(NIST)的研究者們探索使用光發(fā)射器和接收器來連接神經元。原則上,光鏈路或光波導能以光速通信速率將每個神經元與數(shù)千個其他神經元連接起來。相關論文在《自然 · 電子學》上發(fā)表。
論文地址:https://www.nature.com/articles/s41928-022-00840-9
研究概覽
研究者使用了能夠檢測單光子的超導納米線裝置,其中能檢測到的這些光信號是最小的單元,可被看作能量效率的物理極限。
如下渲染圖展示了模擬神經元突觸(大腦中神經元之間的接口點)的超導電路如何被用來創(chuàng)造未來的人造光電神經元。
執(zhí)行光子神經計算通常很棘手,因為其一般都需要可以在相當長時間內捕獲光的光學腔。在集成微芯片上創(chuàng)建這樣的空腔并將它們與許多波導連接起來具有極大的挑戰(zhàn)性。
因此,研究者開發(fā)了混合電路系統(tǒng),其中每個探測器的輸出信號被轉換為約 2 皮秒長的超快電脈沖。這些脈沖均由超導量子干涉儀網絡或超導量子干涉儀(SQUID)內的單個磁漲落或磁通量引起。
NIST 的研究員、通訊作者 Jeffrey Shainline 表示,「多年來,我們一直在努力進行理論研究工作,希望發(fā)掘出使技術能夠實現(xiàn)神經形態(tài)計算的物理極限的本質原理。對這一目標的追求讓我們想到了這個概念——將單光子能級的光通信與約瑟夫森結執(zhí)行的神經網絡計算相結合?!?/span>
超導量子干涉儀(SQUID)由一個或多個約瑟夫森結構成,是一個三明治結構,上下均為超導材料,中間由絕緣薄膜隔開。如果通過約瑟夫森結(Josephson junction, JJ)的電流超過某個特定的閾值,超導量子干涉儀就將開始產生磁通量。
在感應到一個光子后,單光子探測器(single-photon detector, SPD)就會產生磁通量子,而后這些通量子就會在 SQUID 的超導回路中作為電流被收集。這種存儲的電流可以作為一種記憶形式,記錄神經元發(fā)出了多少次尖峰信號。
下圖 2 為布局和完成的電路。a 為整個突觸電路的 3D 布局;b 為完成制造的顯微鏡圖像;c 為 SPD 布局;d 為制造中的 SPD;e 為 JJ 和分流電阻的布局;f 為制造中的 JJ 和分流器;g 為用于 DR(dendritic receiving, 樹突接收)循環(huán)的 SQUID;h 為制造中的 DR SQUID。
Shainline 感嘆道,「讓電路工作起來其實相當容易。在設計階段,制造和實驗花費了相當多的時間,但實際上,在我們第一次制造出這些電路時,它們就已經可以開始工作了。這預示著此類系統(tǒng)未來的可擴展性非常好。」
研究者將單光子探測器與約瑟夫森結集成在一起,形成了一個超導突觸。他們計算出突觸的峰值頻率能夠超過 1000 萬赫茲,同時每個突觸事件消耗大約 33 阿托焦耳的能量(1 阿托焦耳等于 10^-18 焦耳)。相比之下,人類神經元的最大平均峰值速率僅約為 340 赫茲 ,而同時每個突觸事件卻將消耗大約 10 飛焦耳(1 飛焦耳等于 10^-15 焦耳)。
下圖 3 展示了單個突觸的特性,其時間常數(shù)為 6.25 μs,電感為 2.5 μH。測量結果表明實際值分別為 8.06 μs 和 3.2 μH。
下圖 4 展示了突觸傳遞函數(shù)可以在廣泛的時間尺度范圍內進行設計。
此外,研究者可以實現(xiàn)這些電路系統(tǒng)設備的輸出時間從數(shù)百納秒變化到毫秒。這也意味著這些硬件可以與一系列系統(tǒng)連接,實現(xiàn)從高速電子設備間的通信乃至人機間更悠閑的交互。
未來,研究者將把他們研發(fā)的新突觸與片上光源相結合,創(chuàng)造出完全集成的超導神經元。Shainline 對此表示,「實現(xiàn)完全集成的超導神經元仍然存在巨大的挑戰(zhàn),但若我們能夠將最后那部分也集成進去,那么非常有理由相信最終它可能會成為人工智能的強大計算平臺。」