近日，普林斯頓的研究人員提出了世界上第一個(gè)高質(zhì)量的微米級(jí)光學(xué)成像裝置「Neural Nano-Optics」，并登上Nature Communications。成像效果和體積大50萬(wàn)倍的相機(jī)鏡頭相比，在不少場(chǎng)景下可以做到旗鼓相當(dāng)！

快看，一朵湛藍(lán)色的花朵正在緩緩綻放，層層花瓣像是海洋的波浪。

另一朵紫色的花綻放的瞬間，也美不勝收。

但是，這些畫面真正的驚艷之處卻并不在于花朵，而在于拍攝它們的相機(jī)鏡頭。

那鏡頭放在手上，是這樣的。

一個(gè)極小極小的正方形小薄片，邊長(zhǎng)大概也就是幾條指紋的寬度！

還有更夸張的。

傳統(tǒng)的光學(xué)鏡頭，比如蘋果的iPhone X，后置鏡頭是長(zhǎng)這樣的。

拉近點(diǎn)看，一個(gè)后置鏡頭之中，其實(shí)疊放了好幾層透鏡。

所以這種大尺寸的光學(xué)元件必然會(huì)很重，而且還會(huì)擠占不少面積。

要不，用這個(gè)正方形小薄片和搭載大體積復(fù)合折射透鏡的傳統(tǒng)相機(jī)比上一比？

結(jié)果非常amazing啊！

在微觀拍攝上，這個(gè)小小的薄片對(duì)物體的還原度居然不遜于一堆透鏡疊在一起，甚至畫面還要更明亮一些。

在廣角的拍攝上，這個(gè)小薄片最終還是沒能敵過大尺寸的傳統(tǒng)相機(jī)，不過建筑的輪廓倒也還原得七七八八。

這個(gè)小薄片名叫「Neural Nano-Optics」，學(xué)名「metasurface optics」，意為超構(gòu)表面光學(xué)器件。

有沒有看到中間拿一圈白色的部分，沒錯(cuò)，這個(gè)就是成像裝置。

只有一粒粗鹽的大小哦！

成像效果的話，研究人員表示，「Neural Nano-Optics」和體積大50萬(wàn)倍的Edmund Optics 50mm F2.0鏡頭在不少場(chǎng)景下可以做到旗鼓相當(dāng)（不是我說的，是原文說的on par with）。

小小相機(jī)有多神？

近幾十年來，感光元件的小型化使得相機(jī)得以被應(yīng)用于非常多的領(lǐng)域，包括醫(yī)療成像、智能手機(jī)、機(jī)器人和自動(dòng)駕駛。

然而，如果光學(xué)成像器可以比現(xiàn)在再小一個(gè)數(shù)量級(jí)的話，那么它就可以在納米機(jī)器人、體內(nèi)成像、增強(qiáng)現(xiàn)實(shí)/虛擬現(xiàn)實(shí)和健康監(jiān)測(cè)方面開辟許多新的應(yīng)用。

近日，普林斯頓的研究人員提出了世界第一個(gè)高質(zhì)量的超小型光學(xué)成像裝置「Neural Nano-Optics」，并發(fā)表在了Nature Communications上。

這個(gè)相機(jī)擁有全色（400至700納米）覆蓋、40度的寬視野成像，以及F2.0的光圈。

論文地址：https://light.cs.princeton.edu/wp-content/uploads/2021/11/NeuralNanoOptics.pdf

項(xiàng)目地址：https://github.com/princeton-computational-imaging/Neural_Nano-Optics

「Neural Nano-Optics」優(yōu)于現(xiàn)有的所有最先進(jìn)的超構(gòu)表面透鏡設(shè)計(jì)，并且是世界第一個(gè)實(shí)現(xiàn)高質(zhì)量、寬視野彩色成像的超構(gòu)表面光學(xué)成像器。

超構(gòu)表面（metasurface）是一種厚度小于波長(zhǎng)的超薄人工結(jié)構(gòu)，它可實(shí)現(xiàn)對(duì)電磁波偏振、振幅、相位、極化方式、傳播模式等特性的靈活有效調(diào)控。

通常，傳統(tǒng)光學(xué)元件的物理尺寸很大。

這是因?yàn)閭鹘y(tǒng)鏡頭是通過使光波發(fā)生彎曲來工作的。當(dāng)光波穿過鏡頭時(shí)，它在鏡頭的不同部分會(huì)以不同的角度發(fā)生折射。

一般來講，工程師會(huì)將多個(gè)單獨(dú)的鏡頭堆疊在一起（稱為復(fù)合鏡頭），以特定的方式引導(dǎo)和控制光線。

典型的凸（會(huì)聚）鏡頭使光波彎曲以在焦點(diǎn)處匯合（來源：Mini Physics）

由于傳統(tǒng)的成像系統(tǒng)必須由一系列矯正像差的折射元件組成，這些笨重的鏡頭必然使得相機(jī)的限制較大。

傳統(tǒng)成像另一個(gè)大的障礙是難以減小焦距，因?yàn)檫@會(huì)導(dǎo)致更大的色差。

而超構(gòu)表面光學(xué)器件通過其不同的自身結(jié)構(gòu)與光相互作用，用一層極薄的平面結(jié)構(gòu)就可以達(dá)到同等的效果。

鏡頭縮小的問題是解決了，那傳感器呢？

其實(shí)，亞微米像素的光學(xué)傳感器早已存在，但是其成像效果卻被傳統(tǒng)光學(xué)的理論所限制。

所以，單單把傳感器做小并不能完全解決問題。由于受到孔徑和光圈的限制，現(xiàn)有的亞微米像素的傳感器取得的圖像質(zhì)量遠(yuǎn)不如大型的光學(xué)相機(jī)。

那普林斯頓的研究人員是怎么攻破這一難點(diǎn)的呢？

答案還得是AI！

在這項(xiàng)工作中，作者提出的Neural Nano-Optics，表面只是一個(gè)小成像裝置，但其背后卻有一個(gè)完全可微的深度學(xué)習(xí)框架，結(jié)合基于神經(jīng)特征的圖像重建算法，進(jìn)而學(xué)習(xí)超構(gòu)表面的物理結(jié)構(gòu)，實(shí)現(xiàn)了比SOTA低一個(gè)數(shù)量級(jí)的重建誤差。

超構(gòu)表面代理模型

作者通過使用一個(gè)高效的可微分代理函數(shù)進(jìn)行學(xué)習(xí)，該函數(shù)將相位值映射到空間變化的PSF（PSF是point spread function的簡(jiǎn)稱，即點(diǎn)擴(kuò)散函數(shù)）。

文章所提出的可微分超構(gòu)表面圖像形成模型（圖e）是由可微分張量運(yùn)算的三個(gè)連續(xù)階段組成：超表面相位確定、PSF模擬并進(jìn)行卷積以及傳感器噪聲。

在他們的模型中，決定超表面相位的多項(xiàng)式系數(shù)是可優(yōu)化的變量。

可優(yōu)化的超表面相位函數(shù)ϕ，以距光軸的距離r作為自變量，寫成函數(shù)如下：

其中{a0，…an}為可優(yōu)化系數(shù)，R為相位掩膜半徑，n為多項(xiàng)式項(xiàng)數(shù)。

在這個(gè)相位函數(shù)的基礎(chǔ)上優(yōu)化超表面，而不是以逐像素的方式來優(yōu)化，其目的是避免局部極小值出現(xiàn)。

這種可微分方法Neural Nano-Optics與可選的前向模擬方法（如時(shí)域有限差分模擬）進(jìn)行比較時(shí)，兩者精度是近似的，但可微分方法Neural Nano-Optics比FTDT等全波模擬方法的效率高3000倍，并且更節(jié)省內(nèi)存。

除這些之外，可微分框架Neural Nano-Optics還有幾個(gè)技術(shù)亮點(diǎn)。

基于特征的反卷積

為了從測(cè)量數(shù)據(jù)中恢復(fù)圖像，作者提出了一種基于特征的神經(jīng)反卷積方法，它結(jié)合了已學(xué)習(xí)的先驗(yàn)知識(shí)，可以推廣到?jīng)]見過的測(cè)試數(shù)據(jù)。

具體來說，該方法采用了一個(gè)可微分逆濾波器和神經(jīng)網(wǎng)絡(luò)進(jìn)行特征提取和細(xì)化。這種方法能夠?qū)W習(xí)有效的特征，從而利用功率譜的知識(shí)來提升基于物理的反卷積能力，從而提高泛化能力。

在形式上，特征傳播反卷積網(wǎng)絡(luò)執(zhí)行以下操作:

從結(jié)果看，特征傳播反卷積網(wǎng)絡(luò)的重建能力相對(duì)之前的方法有了質(zhì)的飛躍。

端到端學(xué)習(xí)

有了超表面代理和神經(jīng)反卷積模型，以及一個(gè)完全可微的成像管道，就可以用端到端的方式設(shè)計(jì)納米相機(jī)了。

可微分框架Neural Nano-Optics的學(xué)習(xí)方法和相應(yīng)的優(yōu)化流程

Neural Nano-Optics的端到端訓(xùn)練優(yōu)化過程是這樣的。

訓(xùn)練優(yōu)化示意圖

訓(xùn)練好之后，使用Neural Nano-Optics系統(tǒng)，可以得到高質(zhì)量的全色圖像。

與現(xiàn)有的最先進(jìn)的設(shè)計(jì)相比，Neural Nano-Optics可以生成高質(zhì)量的寬FOV重建圖像

色差消除(DLAC)

以前的超構(gòu)光學(xué)透鏡沒有一個(gè)能同時(shí)集齊大孔徑、寬視場(chǎng)、小f-number和大帶寬四個(gè)特性。

經(jīng)過優(yōu)化的超光學(xué)設(shè)計(jì)，讓這個(gè)超小型相機(jī)達(dá)到了前所未有的水平，能夠在寬闊的視野上捕捉全色圖像，并且實(shí)現(xiàn)了最大500微米的孔徑，也是目前最大的超構(gòu)光學(xué)透鏡，可以增加光收集量。

為了正式量化設(shè)計(jì)規(guī)格，研究人員提出了一種新的度量標(biāo)準(zhǔn)，稱為衍射透鏡色差消除能力（DLAC）。

Neural Nano-Optics再次取得了一騎絕塵的好成績(jī)，以250 DLAC的成績(jī)排名第一。

Neural Nano-Optics應(yīng)用

Neural Nano-Optics的出現(xiàn)有可能會(huì)使相機(jī)、顯示器以及其他光學(xué)設(shè)備發(fā)生革命性改變。

一些令人興奮的潛在應(yīng)用包括：

1. AR/VR/MR—XR系統(tǒng)開發(fā)人員目前仍在努力解決將大型硬件系統(tǒng)集成到頭戴式設(shè)備中的挑戰(zhàn)。Neural Nano-Optics讓我們看到了將微型光學(xué)元件集成到小型高性能輕質(zhì)頭戴式設(shè)備和智能眼鏡中的希望。
2. 醫(yī)學(xué)—Neural Nano-Optics的增強(qiáng)光學(xué)功能可以實(shí)現(xiàn)比以往更精確的診斷成像、也可以搭載在更高分辨率的成像工具（比如內(nèi)窺鏡）和新的顯微鏡上，從而使放射科醫(yī)生、內(nèi)科醫(yī)生和實(shí)驗(yàn)室技術(shù)人員能夠看到以前不可見的細(xì)節(jié)。