隨著大模型等人工智能技術(shù)的突破與發(fā)展，算法復(fù)雜度劇增，對(duì)傳統(tǒng)計(jì)算芯片帶來(lái)了算力和功耗的雙重挑戰(zhàn)。近年來(lái)，以光計(jì)算為基礎(chǔ)、通過(guò)光電融合的方式構(gòu)建光電神經(jīng)網(wǎng)絡(luò)的計(jì)算處理方法已經(jīng)成為國(guó)際熱點(diǎn)研究問(wèn)題，有望實(shí)現(xiàn)計(jì)算性能的顛覆性提升。

然而，光電神經(jīng)網(wǎng)絡(luò)的前向數(shù)學(xué)模型由對(duì)光場(chǎng)的精準(zhǔn)物理建模得到，計(jì)算復(fù)雜度高、參數(shù)冗余度大；其學(xué)習(xí)機(jī)制沿用人工神經(jīng)網(wǎng)絡(luò)常用的梯度下降算法，面向大規(guī)模光電神經(jīng)網(wǎng)絡(luò)時(shí)優(yōu)化速度慢、資源消耗高、收斂效果差。因此，現(xiàn)有學(xué)習(xí)架構(gòu)僅能支撐小規(guī)模光電神經(jīng)網(wǎng)絡(luò)的訓(xùn)練，其網(wǎng)絡(luò)容量和特征捕獲能力不足以有效處理 ImageNet 等大型復(fù)雜數(shù)據(jù)集。

近日，清華大學(xué)電子工程系方璐副教授課題組提出了面向大規(guī)模光電智能計(jì)算的：光學(xué)-人工雙神經(jīng)元學(xué)習(xí)架構(gòu)（DuAl-Neuron opTical-artificial lEarning，DANTE）。其中光學(xué)神經(jīng)元精準(zhǔn)建模光場(chǎng)計(jì)算過(guò)程，人工神經(jīng)元以輕量映射函數(shù)建立跳躍連接助力梯度傳播，全局人工神經(jīng)元與局部光學(xué)神經(jīng)元以交替學(xué)習(xí)的機(jī)制進(jìn)行迭代優(yōu)化，在確保學(xué)習(xí)有效性的同時(shí)，大大降低了訓(xùn)練的時(shí)空復(fù)雜度，使得訓(xùn)練更大更深的光電神經(jīng)網(wǎng)絡(luò)成為可能。DANTE 突破了大規(guī)模光電神經(jīng)網(wǎng)絡(luò)物理建模復(fù)雜、參數(shù)優(yōu)化困難等桎梏，網(wǎng)絡(luò)規(guī)模提升一至兩個(gè)數(shù)量級(jí)，訓(xùn)練學(xué)習(xí)速度提升兩個(gè)數(shù)量級(jí)。

該研究以《光學(xué)-人工雙神經(jīng)元架構(gòu)訓(xùn)練大規(guī)模光電神經(jīng)網(wǎng)絡(luò)》（Training large-scale optoelectronic neural networks with dual-neuron optical-artificial learning）為題，于 11 月 4 日發(fā)表于《自然·通訊》（Nature Communications）期刊上。

人工神經(jīng)網(wǎng)絡(luò)（ANN）無(wú)疑是近年來(lái)機(jī)器智能研究領(lǐng)域中最具代表性的技術(shù)。在過(guò)去的十年中，隨著網(wǎng)絡(luò)規(guī)模、模型參數(shù)和數(shù)據(jù)集大小的增長(zhǎng)，人工神經(jīng)網(wǎng)絡(luò)在視覺計(jì)算、自然語(yǔ)言處理、機(jī)器人等各個(gè)領(lǐng)域取得了顯著的進(jìn)步。大規(guī)模神經(jīng)網(wǎng)絡(luò)也給現(xiàn)有的電子計(jì)算硬件帶來(lái)了巨大的壓力。由于硅基計(jì)算設(shè)備的性能和能源效率受到摩爾定律停滯期的限制，研究人員開始將注意力重新轉(zhuǎn)向光學(xué)/光電網(wǎng)絡(luò)。

光學(xué)和光電神經(jīng)網(wǎng)絡(luò)（ONN）具有固有的高速和高能效特性。其中，衍射神經(jīng)網(wǎng)絡(luò)僅通過(guò)經(jīng)過(guò)訓(xùn)練的光學(xué)調(diào)制元件傳播編碼光來(lái)進(jìn)行計(jì)算，可以自然地處理光學(xué)圖像并實(shí)現(xiàn)各種機(jī)器視覺任務(wù)的光學(xué)計(jì)算。

然而，現(xiàn)有的衍射神經(jīng)網(wǎng)絡(luò)研究主要集中在探索新型光學(xué)計(jì)算硬件或新的網(wǎng)絡(luò)結(jié)構(gòu)，而很少關(guān)注 ONN 的建模和優(yōu)化。大多數(shù)現(xiàn)有的 ONN 研究仍在努力解決基本任務(wù)和小數(shù)據(jù)集，例如 MNIST 和 Fashion-MNIST 分類。

受限于算力瓶頸與顯存容量，現(xiàn)有的單神經(jīng)元學(xué)習(xí)方法僅能實(shí)現(xiàn)百萬(wàn)量級(jí)神經(jīng)元的光電神經(jīng)網(wǎng)絡(luò)訓(xùn)練，難以滿足 ImageNet 等復(fù)雜大規(guī)模數(shù)據(jù)集的訓(xùn)練需求。

在此，研究人員提出了 DANTE：用于大規(guī)模光電機(jī)器學(xué)習(xí)的雙神經(jīng)元光學(xué)人工學(xué)習(xí)。

具體來(lái)說(shuō)，硬件網(wǎng)絡(luò)由光學(xué)神經(jīng)元層和人工神經(jīng)元層建模。光學(xué)神經(jīng)元層精確地模擬光場(chǎng)的衍射和調(diào)制過(guò)程，人工神經(jīng)元層使用輕量級(jí)函數(shù)近似計(jì)算量大的光學(xué)神經(jīng)元層光學(xué)衍射建模。與單神經(jīng)元學(xué)習(xí)方法不同，DANTE 通過(guò)采用迭代全局人工學(xué)習(xí)步驟和局部光學(xué)學(xué)習(xí)步驟來(lái)解耦所有光學(xué)神經(jīng)元。通過(guò)在全局人工學(xué)習(xí)步驟中引入人工神經(jīng)元，顯著減少了優(yōu)化空間和計(jì)算內(nèi)存需求，實(shí)現(xiàn)了端到端網(wǎng)絡(luò)學(xué)習(xí)更快更好的收斂。而在局部光學(xué)學(xué)習(xí)中，光學(xué)神經(jīng)元層的參數(shù)是從優(yōu)化的人工神經(jīng)元中獨(dú)立有效地學(xué)習(xí)的，而不是從海量數(shù)據(jù)集中學(xué)習(xí)，這可以進(jìn)一步加速網(wǎng)絡(luò)訓(xùn)練。

圖 1：光學(xué)-人工雙神經(jīng)元學(xué)習(xí)架構(gòu)（DANTE）。（來(lái)源：論文）

研究人員在空間光智能計(jì)算平臺(tái)上開展了大量仿真與物理實(shí)驗(yàn)驗(yàn)證，將現(xiàn)有百萬(wàn)量級(jí)光電神經(jīng)元網(wǎng)絡(luò)的訓(xùn)練時(shí)間從數(shù)十小時(shí)級(jí)縮短到了分鐘級(jí)。

在模擬實(shí)驗(yàn)中，與單神經(jīng)元學(xué)習(xí)方法相比，DANTE 在 CIFAR-10 基準(zhǔn)上實(shí)現(xiàn)了約 200 倍的訓(xùn)練加速，準(zhǔn)確率提高了約 10%。

圖 2：使用 DANTE 改進(jìn) ONN 訓(xùn)練。（來(lái)源：論文）

更重要的是，DANTE 能夠訓(xùn)練具有 150 M 神經(jīng)元的大規(guī)模 ONN，在現(xiàn)代 ImageNet 基準(zhǔn)上實(shí)現(xiàn)與代表性 VGG 網(wǎng)絡(luò)相當(dāng)?shù)男阅?。網(wǎng)絡(luò)規(guī)模大約是現(xiàn)有大型 ONN 的 10 倍。

圖 3：DANTE 支持的大規(guī)模 ONN。（來(lái)源：論文）

在物理實(shí)驗(yàn)中，研究人員開發(fā)了一個(gè)兩層物理 ONN 系統(tǒng)，能夠有效提取特征以增強(qiáng)自然圖像的分類（CIFAR-10 和 ImageNet），作為 DANTE 物理可行性的驗(yàn)證。

圖 4：物理 ONN 系統(tǒng)上的 DANTE。（來(lái)源：論文）

研究人員進(jìn)一步基于 DANTE，首次實(shí)現(xiàn)了億級(jí)神經(jīng)元的大規(guī)模光電神經(jīng)網(wǎng)絡(luò)訓(xùn)練與推理，在 CIFAR-10、ImageNet等多個(gè)數(shù)據(jù)集上實(shí)現(xiàn)了與經(jīng)典人工神經(jīng)網(wǎng)絡(luò) VGG-11 和 VGG-16 相當(dāng)?shù)臏?zhǔn)確率。

值得強(qiáng)調(diào)的是，在 ImageNet 基準(zhǔn)上成功訓(xùn)練光電神經(jīng)網(wǎng)絡(luò)具有重要意義。這展現(xiàn)了 DANTE 在支撐大規(guī)模光電神經(jīng)網(wǎng)絡(luò)訓(xùn)練學(xué)習(xí)上的巨大潛力，有望推動(dòng)光電智能計(jì)算從基于 MNIST 基準(zhǔn)的原型驗(yàn)證階段邁入到使用現(xiàn)代 ImageNet 基準(zhǔn)來(lái)解決大規(guī)模現(xiàn)實(shí)問(wèn)題的全新時(shí)代。

圖 5：DANTE 在 CIFAR-10 和 ImageNet 數(shù)據(jù)集上的訓(xùn)練與推理性能評(píng)測(cè)。（來(lái)源：論文）

總之，DANTE框 架有效地解決了 ONN 面臨的學(xué)習(xí)挑戰(zhàn)，這些挑戰(zhàn)源于光學(xué)衍射建模中復(fù)雜的空間和時(shí)間復(fù)雜性。因此，該研究在訓(xùn)練大規(guī)模 ONN 方面取得了顯著的成功，而以前認(rèn)為使用現(xiàn)有方法不可能訓(xùn)練這些 ONN。

實(shí)驗(yàn)結(jié)果證明了 ONN 在高級(jí)機(jī)器視覺任務(wù)中的巨大潛力。研究人員堅(jiān)信，該研究將為大規(guī)模 ONN 的訓(xùn)練和部署奠定堅(jiān)實(shí)的理論基礎(chǔ)，為 ONN 解決大規(guī)模實(shí)際問(wèn)題的新時(shí)代鋪平道路。

論文鏈接：https://www.nature.com/articles/s41467-023-42984-y

參考內(nèi)容：https://www.tsinghua.edu.cn/info/1175/107842.htm