相比于電子計(jì)算，光計(jì)算具有高速、高帶寬、低功耗的優(yōu)勢(shì)，但目前光計(jì)算還不夠成熟，只在某些特定領(lǐng)域得到了非常有限的應(yīng)用。近日，Nature 上一篇 Perspective 文章剖析了深度光學(xué)和深度光子學(xué)的人工智能推理應(yīng)用，展示了該領(lǐng)域（尤其是光 - 電混合系統(tǒng)）的發(fā)展?jié)摿Α?/p>

為了高速且低功耗地執(zhí)行各種應(yīng)用中的人工智能任務(wù)，我們需要加速器。光計(jì)算系統(tǒng)也許能夠滿足這些領(lǐng)域特定的需求，但即便已經(jīng)歷半個(gè)世紀(jì)的研究，通用型光計(jì)算系統(tǒng)仍還未發(fā)展成一項(xiàng)成熟的實(shí)用技術(shù)。但是，人工智能推理（尤其是用于視覺(jué)計(jì)算應(yīng)用的推理）也許能為基于光學(xué)和光子學(xué)系統(tǒng)的推理提供機(jī)會(huì)。

本文將回顧用于人工智能的光學(xué)計(jì)算的近期研究成果并探討其潛力和挑戰(zhàn)。

計(jì)算系統(tǒng)的能力正與它們?cè)噲D理解的飛速增長(zhǎng)的視覺(jué)數(shù)據(jù)進(jìn)行軍備競(jìng)賽。在自動(dòng)駕駛、機(jī)器人視覺(jué)、智能家居、遙感、顯微技術(shù)、監(jiān)控、國(guó)防和物聯(lián)網(wǎng)等多種應(yīng)用中，計(jì)算成像系統(tǒng)都會(huì)記錄和處理前所未有的巨量數(shù)據(jù)。對(duì)這些數(shù)據(jù)的解讀不可能由人類完成，而是要使用基于人工智能（AI）構(gòu)建的算法。

在這些應(yīng)用之中，深度神經(jīng)網(wǎng)絡(luò)（DNN）正快速發(fā)展成為視覺(jué)數(shù)據(jù)處理的標(biāo)準(zhǔn)算法方法。這主要是因?yàn)?DNN 在許多基準(zhǔn)上都取得了當(dāng)前最佳的結(jié)果，而且往往超出其它方法一大截。深度學(xué)習(xí)近來(lái)的這些突破性進(jìn)展主要得益于現(xiàn)代圖形處理單元（GPU）的強(qiáng)大處理能力和并行計(jì)算能力以及大規(guī)模視覺(jué)數(shù)據(jù)集的可用性，這些進(jìn)展讓 DNN 可以高效地使用監(jiān)督式機(jī)器學(xué)習(xí)策略執(zhí)行訓(xùn)練。

但是，高端 GPU 和其它運(yùn)行日趨復(fù)雜的神經(jīng)網(wǎng)絡(luò)的加速器的功耗和帶寬需求非常高，它們需要大量處理時(shí)間而且具有尺寸龐大的外形。這些限制讓人難以在邊緣設(shè)備中使用 DNN，比如相機(jī)、自動(dòng)化載具、機(jī)器人或物聯(lián)網(wǎng)外圍設(shè)備。以自動(dòng)汽車中的視覺(jué)系統(tǒng)為例，其必須要能使用有限的計(jì)算資源實(shí)時(shí)地做出穩(wěn)定可靠的決策。當(dāng)汽車在高速行駛時(shí)，瞬間的決策關(guān)乎人的生死。事實(shí)上，如果計(jì)算成像系統(tǒng)能做到更精簡(jiǎn)，那么幾乎所有邊緣設(shè)備都能從中受益，這能帶來(lái)更低的延遲以及尺寸、重量和功耗方面的改進(jìn)。

DNN 一般都包含訓(xùn)練和推理兩個(gè)階段，這兩個(gè)階段的計(jì)算需求差異很大。在訓(xùn)練階段，會(huì)向 DNN 輸入大量有標(biāo)注的樣本，然后針對(duì)某個(gè)特定任務(wù)，使用迭代方法優(yōu)化該 DNN 的參數(shù)。訓(xùn)練完成后，可使用該 DNN 來(lái)執(zhí)行推理：以前向通過(guò)的方式向該網(wǎng)絡(luò)輸入一個(gè)數(shù)據(jù)（比如一張圖像），經(jīng)過(guò)該網(wǎng)絡(luò)處理后計(jì)算得到所需結(jié)果。雖然某些應(yīng)用也會(huì)使用 GPU 來(lái)執(zhí)行推理，但對(duì)許多邊緣設(shè)備而言，由于前述原因，使用 GPU 并不現(xiàn)實(shí)。

盡管電子 AI 加速器很靈活，但光神經(jīng)網(wǎng)絡(luò)（ONN）和光子回路可能為該應(yīng)用與其它機(jī)器學(xué)習(xí)應(yīng)用帶來(lái)一次范式轉(zhuǎn)換。光計(jì)算系統(tǒng)有望實(shí)現(xiàn)大規(guī)模的并行計(jì)算，同時(shí)設(shè)備尺寸還更小，而且在某些實(shí)現(xiàn)中的功耗非常低。事實(shí)上，在計(jì)算系統(tǒng)中使用光來(lái)實(shí)現(xiàn)通信的光互連（optical interconnect）技術(shù)已經(jīng)在現(xiàn)如今的數(shù)據(jù)中心中得到了廣泛應(yīng)用，而且在計(jì)算系統(tǒng)更深處越來(lái)越多地使用光互連可能是持續(xù)擴(kuò)展的關(guān)鍵。

不同于電互連技術(shù)，隨著光學(xué)、光電和電子設(shè)備的更深度整合，光互連有望為通信的帶寬密度和單位比特的能量消耗帶來(lái)幾個(gè)數(shù)量級(jí)的提升和改善。這種改進(jìn)過(guò)的互連技術(shù)能實(shí)現(xiàn)電 - 光混合 DNN，而且這種低功耗、高并行的集成技術(shù)還可用作模擬光處理器的部件。

盡管光計(jì)算機(jī)潛力巨大而且也已歷經(jīng)約半個(gè)世紀(jì)的研究，但通用型光計(jì)算仍還不是一項(xiàng)成熟的實(shí)用技術(shù)。但是，推理任務(wù)（尤其是用于視覺(jué)計(jì)算應(yīng)用的推理任務(wù)）已可使用全光學(xué)或光 - 電混合系統(tǒng)來(lái)很好地實(shí)現(xiàn)。舉個(gè)例子，線性光學(xué)元件可以近乎「免費(fèi)」地計(jì)算卷積、傅立葉變換、隨機(jī)投影和許多其它運(yùn)算，因?yàn)檫@些運(yùn)算可作為光與物質(zhì)交互或光傳播的副產(chǎn)物。這些運(yùn)算是 DNN 架構(gòu)的基本構(gòu)建模塊，驅(qū)動(dòng)著大多數(shù)現(xiàn)代視覺(jué)計(jì)算算法。我們有望以光速執(zhí)行這些運(yùn)算，同時(shí)功耗需求很低乃至沒(méi)有。本文認(rèn)為這具有變革性的潛力。

回顧光計(jì)算的歷史

下圖 1 展示了人工智能及相關(guān)光學(xué)和光子學(xué)實(shí)現(xiàn)的時(shí)間軸。其中展示了一些經(jīng)過(guò)挑選的里程碑和論文，并重點(diǎn)關(guān)注了近期進(jìn)展。

以具體年份計(jì)則如下所示：

• 1949 年，Donald O. Hebb 發(fā)表《行為的組織（The Organization of Behavior）》一書(shū)
• 1957 年，F(xiàn)rank Rosenblatt 提出感知器
• 1960 年，Widrow & Hoff 提出自適應(yīng)開(kāi)關(guān)電路
• 1964 年，Lugt 提出光學(xué)相關(guān)性（Optical correlation）
• 1982 年，John Hopfield 提出 Hopfield 網(wǎng)絡(luò)；Kohonen 提出自組織特征圖
• 1984 年，Goodman et al. 發(fā)表論文《用于超大規(guī)模集成電路系統(tǒng)的光互連（Optical interconnections for VLSI systems）》
• 1985 年，F(xiàn)arhat et al. 發(fā)表論文《Hopfield 模型的光學(xué)實(shí)現(xiàn)（Optical implementation of the Hopfield model）》
• 1986 年，Rumelhart et al. 提出使用反向傳播的多層感知器
• 1990 年，LeCun et al. 使用 CNN 實(shí)現(xiàn)數(shù)字字符識(shí)別；Psaltis et al. 使用非線性光反應(yīng)晶體的光神經(jīng)網(wǎng)絡(luò)（ONN）
• 2006 年，Hinton & Salakhutdinov 提出深度自編碼器
• 2012 年，Krizhevksy et al. 提出深度 CNN
• 2017 年，Shen et al. 提出使用納米光子電路的深度學(xué)習(xí)；Tait et al. 提出神經(jīng)形態(tài)光子網(wǎng)絡(luò)
• 2018 年，Chang et al. 提出光 CNN；Lin et al. 提出全光衍射神經(jīng)網(wǎng)絡(luò)
• 2019 年，F(xiàn)eldman et al. 提出高帶寬光子神經(jīng)突觸網(wǎng)絡(luò)

用于人工智能的光子回路

現(xiàn)代 DNN 架構(gòu)是級(jí)聯(lián)的線性層后面跟著非線性激活函數(shù)，而且這會(huì)重復(fù)很多次。最一般形式的線性層是全連接層。在這種情況下，每個(gè)輸出神經(jīng)元都是所有輸入神經(jīng)元的加權(quán)和。從數(shù)學(xué)上看，這可以表示成一種矩陣 - 向量乘法，從而可以有效地使用光學(xué)技術(shù)實(shí)現(xiàn)。也就是說(shuō)我們可以使用光子回路來(lái)執(zhí)行人工智能的相關(guān)計(jì)算。不過(guò)相關(guān)技術(shù)還面臨著可編程性等有待解決的問(wèn)題。

使用自由空間、透鏡和復(fù)雜介質(zhì)進(jìn)行計(jì)算

還有一種可替代光子回路的選擇：在自由空間或某種介質(zhì)中傳播的光場(chǎng)上直接構(gòu)建計(jì)算能力。（見(jiàn)下圖 2）從數(shù)學(xué)上講，在自由空間中傳播的波可用基爾霍夫衍射積分（Kirchhoff’s diffraction integral）來(lái)描述，這相當(dāng)于讓該場(chǎng)與一個(gè)固定的核（kernel）執(zhí)行卷積。該運(yùn)算又是卷積神經(jīng)網(wǎng)絡(luò)（CNN）的一大基本構(gòu)建模塊，而 CNN 又是最常用的視覺(jué)計(jì)算框架。

圖 2：光波傳播概況。如圖所示，上面一行展示了波在自由空間和不同介質(zhì)中的傳播，下面一行是相應(yīng)的線性矩陣運(yùn)算。其中 a 是波穿過(guò)自由空間的情況，其在數(shù)學(xué)上被描述成波場(chǎng)與一個(gè)復(fù)值核的卷積。b-g 則使用了不同的介質(zhì)，它們也因此有各自不同的矩陣。

使用深度計(jì)算光學(xué)和成像來(lái)執(zhí)行推理

計(jì)算成像領(lǐng)域研究的是光學(xué)和圖像處理的聯(lián)合設(shè)計(jì)，這可用于增強(qiáng)計(jì)算式相機(jī)（computational camera）能力等應(yīng)用。將相機(jī)解釋成編碼器 - 解碼器系統(tǒng)會(huì)很有幫助。因此，我們可以從整體角度將相機(jī)設(shè)計(jì)問(wèn)題看作是光學(xué)和成像處理的端到端優(yōu)化問(wèn)題。因此可以針對(duì)經(jīng)由損失函數(shù)和訓(xùn)練數(shù)據(jù)集定義的特定任務(wù)對(duì)物理透鏡和深度神經(jīng)網(wǎng)絡(luò)進(jìn)行聯(lián)合優(yōu)化。（見(jiàn)下圖 3）

圖 3：光學(xué)編碼器 - 電子解碼器系統(tǒng)示意圖。其中傳感器充當(dāng)瓶頸，在角度、波長(zhǎng)譜、曝光時(shí)間、相位和其它入射光指標(biāo)上進(jìn)行積分。自由曲面透鏡或定制傳感器電子設(shè)備能以離線方式針對(duì)特定任務(wù)進(jìn)行優(yōu)化，然后經(jīng)過(guò)生產(chǎn)加工后用于從光學(xué)和電子方面記錄圖像編碼。然后可以使用神經(jīng)網(wǎng)絡(luò)或其它可微分的圖像處理算法來(lái)從觀測(cè)結(jié)果提取所需的信息。這些編碼器和解碼器一起可共同組成一個(gè)混合式的光 - 電神經(jīng)網(wǎng)絡(luò)。

我們也可以將光學(xué)操作的原理解讀為一種形式的計(jì)算，即與處理數(shù)據(jù)記錄的電子平臺(tái)一起工作的預(yù)處理器或協(xié)處理器?；谶@一解讀，我們可以讓光學(xué)組件做盡可能多的工作，進(jìn)而優(yōu)化計(jì)算成像系統(tǒng)的延遲和功耗需求。

顯微鏡應(yīng)用

光學(xué)顯微鏡也是深度學(xué)習(xí)方法已經(jīng)取得重大影響的一個(gè)領(lǐng)域，其涵蓋多種模態(tài)，包括相干成像以及明視野顯微鏡和熒光顯微鏡。解決顯微圖像重建和增強(qiáng)的反向問(wèn)題已經(jīng)是一項(xiàng)持續(xù)數(shù)十年的熱門研究課題，之前方法的一大關(guān)鍵是建立成像系統(tǒng)的前向模型?；谏疃葘W(xué)習(xí)的數(shù)據(jù)驅(qū)動(dòng)方法是解決光學(xué)顯微鏡反向問(wèn)題的另一條途徑。

圖 4：深度光學(xué)和光子學(xué)應(yīng)用示例 I。a. 光學(xué)圖像分類；b. 混合光電圖像分類；c. 使用偽隨機(jī)投影的圖像分類；d. 虛擬染色；e. 虛擬重新聚焦。

圖 5：深度光學(xué)和光子學(xué)應(yīng)用示例 I。a. 單像素相機(jī)；b. 用于視頻超分辨率的神經(jīng)傳感器；c. 納米光子回路；d. 光子集成電路；e. 光學(xué)干涉儀；f. 逆向設(shè)計(jì)的非均勻介質(zhì)。

展望未來(lái)

文章認(rèn)為，混合光 - 電計(jì)算系統(tǒng)是這一領(lǐng)域最有發(fā)展前景的方向。混合系統(tǒng)既具備光計(jì)算的帶寬和速度優(yōu)勢(shì)，又具備電計(jì)算的靈活性，而且還能利用模擬和數(shù)字光學(xué) / 光電 / 電子系統(tǒng)的高能效技術(shù)基礎(chǔ)。混合光 - 電推理機(jī)器能將 AI 推理用于計(jì)算機(jī)視覺(jué)、機(jī)器人學(xué)、顯微和其它視覺(jué)計(jì)算任務(wù)，進(jìn)而實(shí)現(xiàn)光學(xué)計(jì)算機(jī)早該具有的變革性能力。