用光訓(xùn)練神經(jīng)網(wǎng)絡(luò)，清華成果最新登上了Nature！

無法應(yīng)用反向傳播算法怎么辦？

他們提出了一種全前向模式（Fully Forward Mode，F(xiàn)FM）的訓(xùn)練方法，在物理光學(xué)系統(tǒng)中直接執(zhí)行訓(xùn)練過程，克服了傳統(tǒng)基于數(shù)字計(jì)算機(jī)模擬的限制。

簡單點(diǎn)說，以前需要對(duì)物理系統(tǒng)進(jìn)行詳細(xì)建模，然后在計(jì)算機(jī)上模擬這些模型來訓(xùn)練網(wǎng)絡(luò)。而FFM方法省去了建模過程，允許系統(tǒng)直接使用實(shí)驗(yàn)數(shù)據(jù)進(jìn)行學(xué)習(xí)和優(yōu)化。

這也意味著，訓(xùn)練不需要再從后向前檢查每一層（反向傳播），而是可以直接從前向后更新網(wǎng)絡(luò)的參數(shù)。

打個(gè)比方，就像拼圖一樣，反向傳播需要先看到最終圖片（輸出），然后逆向一塊塊檢查復(fù)原；而FFM方法更像手中已有部分完成的拼圖，只需按照一些光原理（對(duì)稱互易性）繼續(xù)填充，而無需回頭檢查之前的拼圖。

這樣下來，使用FFM優(yōu)勢(shì)也很明顯：

一是減少了對(duì)數(shù)學(xué)模型的依賴，可以避免模型不準(zhǔn)確帶來的問題；二是節(jié)省了時(shí)間（同時(shí)能耗更低），使用光學(xué)系統(tǒng)可以并行處理大量的數(shù)據(jù)和操作，消除反向傳播也減少了整個(gè)網(wǎng)絡(luò)中需要檢查和調(diào)整的步驟。

論文共同一作是來自清華的薛智威、周天貺，通訊作者是清華的方璐教授、戴瓊海院士。此外，清華電子系徐智昊、之江實(shí)驗(yàn)室虞紹良也參與了這項(xiàng)研究。

消除反向傳播

一句話概括FFM原理：

將光學(xué)系統(tǒng)映射為參數(shù)化的現(xiàn)場神經(jīng)網(wǎng)絡(luò)，通過測量輸出光場來計(jì)算梯度，并使用梯度下降算法更新參數(shù)。

簡單說就是讓光學(xué)系統(tǒng)自學(xué)，通過觀察自己如何處理光線（即測量輸出光場）來了解自己的表現(xiàn)，然后利用這些信息來逐步調(diào)整自己的設(shè)置（參數(shù)）。

下圖展示了FFM在光學(xué)系統(tǒng)中的運(yùn)行機(jī)制：

其中a為傳統(tǒng)設(shè)計(jì)方法的局限性；b為光學(xué)系統(tǒng)的組成；c為光學(xué)系統(tǒng)到神經(jīng)網(wǎng)絡(luò)的映射。

展開來說，一般的光學(xué)系統(tǒng)（b），包括自由空間透鏡光學(xué)和集成光子學(xué)，由調(diào)制區(qū)域（暗綠色）和傳播區(qū)域（淺綠色）組成。在這些區(qū)域中，調(diào)制區(qū)域的折射率是可調(diào)的，而傳播區(qū)域的折射率是固定的。

而這里的調(diào)制和傳播區(qū)域可以映射到神經(jīng)網(wǎng)絡(luò)中的權(quán)重和神經(jīng)元連接。

在神經(jīng)網(wǎng)絡(luò)中，這些可調(diào)整的部分就像是神經(jīng)元之間的連接點(diǎn)，可以改變它們的強(qiáng)度（權(quán)重）來學(xué)習(xí)。

利用空間對(duì)稱互易性原理，數(shù)據(jù)和誤差計(jì)算可以共享相同的前向物理傳播過程和測量方法。

這有點(diǎn)像鏡子里的反射，系統(tǒng)中的每個(gè)部分都能以相同的方式響應(yīng)光的傳播和錯(cuò)誤反饋。這意味著無論光如何進(jìn)入系統(tǒng)，系統(tǒng)都能以一致的方式處理它，并根據(jù)結(jié)果來調(diào)整自己。

這樣，可以在現(xiàn)場直接計(jì)算梯度，用于更新設(shè)計(jì)區(qū)域內(nèi)的折射率，從而優(yōu)化系統(tǒng)性能。

通過現(xiàn)場梯度下降方法，光學(xué)系統(tǒng)可以逐步調(diào)整其參數(shù)，直至達(dá)到最優(yōu)狀態(tài)。

原文將上述全前向模式的梯度下降方法（替代反向傳播）用方程最終表示為：

一種光學(xué)神經(jīng)網(wǎng)絡(luò)訓(xùn)練方法

作為一種光學(xué)神經(jīng)網(wǎng)絡(luò)訓(xùn)練的方法，F(xiàn)FM有以下優(yōu)勢(shì)：

與理想模型相當(dāng)?shù)臏?zhǔn)確率

使用FFM可以在自由空間光學(xué)神經(jīng)網(wǎng)絡(luò)（Optical Neural Network，ONN）上實(shí)現(xiàn)有效的自訓(xùn)練過程。

要說明這個(gè)結(jié)論，研究人員首先用一個(gè)單層的ONN在基準(zhǔn)數(shù)據(jù)集上進(jìn)行了對(duì)象分類訓(xùn)練（a）。

具體來說，他們用了一些手寫數(shù)字的圖片（MNIST數(shù)據(jù)集）來訓(xùn)練這個(gè)系統(tǒng)，然后將結(jié)果進(jìn)行了可視化（b）。

結(jié)果顯示，通過FFM學(xué)習(xí)訓(xùn)練的ONN在實(shí)驗(yàn)光場與理論光場之間相似性極高（SSIM超過0.97）。

換句話說，它學(xué)習(xí)得非常好，幾乎能夠完美復(fù)制給它的示例。

不過研究人員也提醒：

由于系統(tǒng)存在的不完美之處，理論上計(jì)算出的光場和梯度無法完全準(zhǔn)確地反映實(shí)際物理現(xiàn)象。

接下來，研究人員用更復(fù)雜的圖片（Fashion-MNIST數(shù)據(jù)集）來訓(xùn)練系統(tǒng)識(shí)別不同的時(shí)尚物品。

一開始，當(dāng)層數(shù)從2層增加到8層，計(jì)算機(jī)訓(xùn)練網(wǎng)絡(luò)的平均準(zhǔn)確度幾乎只有理論準(zhǔn)確度的一半。

而通過FFM學(xué)習(xí)方法，系統(tǒng)的網(wǎng)絡(luò)準(zhǔn)確度提升到92.5%，接近理論值。

這表明了，隨著網(wǎng)絡(luò)層數(shù)的增加，傳統(tǒng)方法訓(xùn)練的網(wǎng)絡(luò)性能下降，而FFM學(xué)習(xí)能夠維持高精度。

同時(shí)，通過將非線性激活納入FFM學(xué)習(xí)，可以進(jìn)一步提升ONN的性能。在實(shí)驗(yàn)中，非線性FFM學(xué)習(xí)能夠?qū)⒎诸悳?zhǔn)確率從90.4%提高到93.0%。

研究進(jìn)一步證明，通過批量訓(xùn)練非線性O(shè)NN，錯(cuò)誤傳播過程可以被簡化，并且訓(xùn)練時(shí)間僅增加1到1.7倍。

高分辨率的聚焦能力

FFM在實(shí)際應(yīng)用中也能實(shí)現(xiàn)高質(zhì)量的成像，即使在復(fù)雜的散射環(huán)境中也能達(dá)到接近物理極限的分辨率。

首先，當(dāng)光波進(jìn)入散射介質(zhì)（如霧、煙或生物組織等），聚焦會(huì)變得復(fù)雜，不過光波在介質(zhì)中的傳播往往保持一定的對(duì)稱性。

FFM就利用了這種對(duì)稱性，通過優(yōu)化光波的傳播路徑和相位，以減少散射效應(yīng)對(duì)聚焦的負(fù)面影響。

其效果也很顯著，圖b展示了FFM與PSO（粒子群優(yōu)化）這兩種優(yōu)化方法的對(duì)比。

具體來說，實(shí)驗(yàn)采用了兩種散射介質(zhì)，一種是隨機(jī)相位板（Scatterer-I），另一種是透明膠帶（Scatterer-II）。

在這兩種介質(zhì)中，FFM僅經(jīng)過25次設(shè)計(jì)迭代就實(shí)現(xiàn)了收斂（更快找到優(yōu)化解），收斂損失值分別為1.84和2.07（越低性能越好）。

而PSO方法需要至少400次設(shè)計(jì)迭代才能達(dá)到收斂，且在最終收斂時(shí)的損失值為2.01和2.15。

同時(shí)，圖c展示了FFM能夠不斷自我優(yōu)化，它設(shè)計(jì)的焦點(diǎn)從最初的隨機(jī)分布逐漸演化和收斂到一個(gè)緊密的焦點(diǎn)。

在3.2 mm × 3.2 mm的設(shè)計(jì)區(qū)域內(nèi)，研究人員進(jìn)一步對(duì)FFM和PSO優(yōu)化的焦點(diǎn)進(jìn)行了均勻采樣，并比較了它們的FWHM（半峰全寬）和PSNR（峰值信噪比）。

結(jié)果顯示，F(xiàn)FM聚焦精度更高，成像質(zhì)量更好。

圖e進(jìn)一步評(píng)估了設(shè)計(jì)的焦點(diǎn)陣列在掃描位于散射介質(zhì)后面的分辨率圖時(shí)的性能。

結(jié)果令人驚喜，F(xiàn)FM設(shè)計(jì)的焦點(diǎn)尺寸接近64.5 μm的衍射極限，這是光學(xué)成像理論上的最高分辨率標(biāo)準(zhǔn)。

能夠并行成像視線之外的物體

既然在散射介質(zhì)中如此厲害，研究人員又嘗試了非視距（NLOS）場景，即物體被隱藏在視線之外的地方。

FFM利用了從隱藏物體到觀察者之間光路的空間對(duì)稱性，這允許系統(tǒng)通過全光學(xué)的方式在現(xiàn)場重建和分析動(dòng)態(tài)隱藏物體。

通過設(shè)計(jì)輸入波前，F(xiàn)FM能夠同時(shí)將物體中的所有網(wǎng)格投影到它們的目標(biāo)位置，實(shí)現(xiàn)隱藏物體的并行恢復(fù)。

實(shí)驗(yàn)中使用了字母形狀的隱藏鉻靶“T”、“H”和“U”，并設(shè)置了曝光時(shí)間（1毫秒）和光功率（0.20 mW），以實(shí)現(xiàn)對(duì)這些動(dòng)態(tài)目標(biāo)的快速成像。

結(jié)果顯示，沒有FFM設(shè)計(jì)的波前，圖像會(huì)嚴(yán)重扭曲。而FFM設(shè)計(jì)的波前能夠恢復(fù)所有三個(gè)字母的形狀，SSIM（結(jié)構(gòu)相似性指數(shù)）達(dá)到1.0，表明與原始圖像的高度相似性。

進(jìn)一步，與人工神經(jīng)網(wǎng)絡(luò)（ANN）在光子效率和分類性能方面相比，F(xiàn)FM顯著優(yōu)于ANN，尤其是在低光子條件下。

具體而言，在光子數(shù)量受限的情況下（如許多反射或高度漫射的表面），F(xiàn)FM能夠自適應(yīng)地糾正波前畸變，并需要更少的光子來進(jìn)行準(zhǔn)確分類。

在非Hermitian系統(tǒng)中自動(dòng)搜索異常點(diǎn)

FFM方法不僅適用于自由空間光學(xué)系統(tǒng)，還可以擴(kuò)展到集成光子系統(tǒng)的自我設(shè)計(jì)。

研究人員使用串聯(lián)和并聯(lián)配置的對(duì)稱光子核心，構(gòu)建了一個(gè)集成神經(jīng)網(wǎng)絡(luò)（a）。

實(shí)驗(yàn)中，對(duì)稱核心通過不同水平的注入電流配置了可變光衰減器（VOA），實(shí)現(xiàn)了不同的衰減系數(shù)，以模擬不同的權(quán)重。

在圖c中，對(duì)稱核心中編程矩陣值的保真度非常高，時(shí)間漂移的標(biāo)準(zhǔn)偏差分別為0.012%，0.012%和0.010%，表明矩陣值非常穩(wěn)定。

并且，研究人員可視化了每層的誤差。對(duì)比實(shí)驗(yàn)梯度與理論模擬值，其平均偏差為3.5%。

在大約100次迭代（epoch）后，網(wǎng)絡(luò)達(dá)到了收斂狀態(tài)。

實(shí)驗(yàn)結(jié)果顯示，在三種不同的對(duì)稱比例配置下（1.0、0.75或0.5），網(wǎng)絡(luò)的分類準(zhǔn)確度分別為94.7%、89.2%和89.0%。

而使用FFM方法的神經(jīng)網(wǎng)絡(luò)，得到的分類準(zhǔn)確度為94.2%、89.2%和88.7%。

相比之下，如果使用傳統(tǒng)的計(jì)算機(jī)模擬方法來設(shè)計(jì)網(wǎng)絡(luò)，實(shí)驗(yàn)的分類準(zhǔn)確度會(huì)低一些，分別為71.7%、65.8%和55.0%。

最后，研究人員還展示了FFM可以自我設(shè)計(jì)非厄米特系統(tǒng)，通過數(shù)值模擬，無需物理模型即可實(shí)現(xiàn)對(duì)特異點(diǎn)的遍歷。

非厄米特系統(tǒng)是物理學(xué)中的一個(gè)概念，它涉及到量子力學(xué)和光學(xué)等領(lǐng)域中的系統(tǒng)，這些系統(tǒng)不滿足厄米特性（Hermitian）條件。

厄米特性與系統(tǒng)的對(duì)稱性和能量的實(shí)數(shù)性有關(guān)，非厄米特系統(tǒng)則不滿足這些條件，它們可能具有一些特殊的物理現(xiàn)象，比如特異點(diǎn)（Exceptional Points），這是系統(tǒng)的動(dòng)力學(xué)行為在某些點(diǎn)上會(huì)發(fā)生奇異變化的地方。

總結(jié)全文，F(xiàn)FM是一種在物理系統(tǒng)上實(shí)現(xiàn)計(jì)算密集型訓(xùn)練過程的方法，能夠高效并行執(zhí)行大多數(shù)機(jī)器學(xué)習(xí)操作。

更多詳細(xì)實(shí)驗(yàn)設(shè)置、數(shù)據(jù)集準(zhǔn)備過程，歡迎查閱原文。

代碼：https://zenodo.org/records/10820584《Nature》原文：https://www.nature.com/articles/s41586-024-07687-4