近日，斯坦福大學(xué)Gordon Wetzstein教授團(tuán)隊(duì)提出一種將反向設(shè)計(jì)的介質(zhì)表面波導(dǎo)與人工智能驅(qū)動的全息顯示相結(jié)合的近眼顯示設(shè)計(jì)，能夠以緊湊的眼鏡形式呈現(xiàn)全彩色3D增強(qiáng)現(xiàn)實(shí)。 新興的空間計(jì)算系統(tǒng)能夠?qū)?shù)字信息無縫疊加在用戶所觀察到的物理環(huán)境上，為娛樂、教育、通信和培訓(xùn)等各個領(lǐng)域提供變革性的體驗(yàn)。然而，由于增強(qiáng)現(xiàn)實(shí)（AR）顯示器的光學(xué)投影部件龐大且無法準(zhǔn)確呈現(xiàn)虛擬內(nèi)容的三維深度線索等因素，其廣泛應(yīng)用受到限制。為此，研究人員提出了一種全息增強(qiáng)現(xiàn)實(shí)系統(tǒng)，該系統(tǒng)利用反向設(shè)計(jì)的全彩色介質(zhì)表面光柵、緊湊的色散補(bǔ)償波導(dǎo)幾何結(jié)構(gòu)和人工智能驅(qū)動的全息算法克服了這些挑戰(zhàn)。這些元件經(jīng)過共同設(shè)計(jì)，消除了空間光調(diào)制器和波導(dǎo)之間需要龐大準(zhǔn)直光學(xué)元件的需求，并在緊湊的設(shè)備形態(tài)中呈現(xiàn)出鮮艷、全彩色的3D增強(qiáng)現(xiàn)實(shí)內(nèi)容。為了在原型中提供前所未有的視覺質(zhì)量，研究人員開發(fā)了一種創(chuàng)新的圖像形成模型，將物理準(zhǔn)確的波導(dǎo)模型與使用相機(jī)反饋?zhàn)詣有?zhǔn)的學(xué)習(xí)組件相結(jié)合。獨(dú)特的納米光子介質(zhì)表面波導(dǎo)和人工智能驅(qū)動的全息算法的共同設(shè)計(jì)，代表了在緊湊的可穿戴設(shè)備中創(chuàng)造引人注目的3D增強(qiáng)現(xiàn)實(shí)體驗(yàn)的重大進(jìn)展。

比較現(xiàn)有增強(qiáng)現(xiàn)實(shí)眼鏡

傳統(tǒng)的增強(qiáng)現(xiàn)實(shí)眼鏡使用振幅空間光調(diào)制器，例如有機(jī)發(fā)光二極管或微型發(fā)光二極管，需要一個投影器為基礎(chǔ)的光學(xué)引擎，其厚度通常至少與投影鏡頭的焦距相同。全息增強(qiáng)現(xiàn)實(shí)眼鏡設(shè)計(jì)使用相位空間光調(diào)制器，可以非?？拷肷涔鈻?，從而使設(shè)備形態(tài)最小化。此外，與傳統(tǒng)的增強(qiáng)現(xiàn)實(shí)眼鏡不同，該全息設(shè)計(jì)可以為虛擬內(nèi)容提供完整的三維深度線索。

反向設(shè)計(jì)的介質(zhì)表面波導(dǎo)

該系統(tǒng)的波導(dǎo)幾何結(jié)構(gòu)被設(shè)計(jì)成適應(yīng)紅、綠、藍(lán)波前的不同傳播角度。具體而言，幾何結(jié)構(gòu)被約束為保持全彩色3D全息圖所需的獨(dú)立自由度，通過將所有三種顏色的傳播波前耦合出來的方式實(shí)現(xiàn)。

該系統(tǒng)的介質(zhì)表面光柵具有優(yōu)化的納米尺度特征（如左圖所示），可以高效地將光散射進(jìn)入和出離我們的波導(dǎo)。介質(zhì)表面的周期（Λ）和高度（H）分別為384納米和220納米。右圖所示的歸一化磁場圖示出了紅色（638 nm）、綠色（521 nm）和藍(lán)色（445 nm）波長在出射耦合器處經(jīng)由介質(zhì)表面光柵的衍射情況。黑色箭頭表示入射和衍射光的波矢。比例尺：400 nm。

掃描電子顯微鏡圖像展示了介質(zhì)表面設(shè)計(jì)的成功制造。比例尺：2 μm（左圖），200 nm（右圖）

學(xué)習(xí)的物理波導(dǎo)模型

研究人員構(gòu)建了一個學(xué)習(xí)的物理波導(dǎo)模型，通過將波導(dǎo)的物理特性（綠色高亮顯示）與從相機(jī)反饋中學(xué)習(xí)得到的人工智能組件（橙色高亮顯示）相結(jié)合，準(zhǔn)確預(yù)測系統(tǒng)的輸出。研究人員通過分析推導(dǎo)得到的物理項(xiàng)包括照明聚焦光照射空間光調(diào)制器和頻率相關(guān)系數(shù)，用于模擬波導(dǎo)內(nèi)的傳播。該系統(tǒng)學(xué)習(xí)得到的組件包括參數(shù)化的空間映射，用于表征制造的介質(zhì)表面光柵的衍射效率變化，以及用于建模內(nèi)容相關(guān)的非理想特性的卷積神經(jīng)網(wǎng)絡(luò)，例如空間上變化的空間光調(diào)制器的非線性響應(yīng)。該模型是完全可微的，使得可以在運(yùn)行時(shí)使用簡單的梯度下降計(jì)算全息計(jì)算機(jī)生成的相位圖案，以實(shí)現(xiàn)任意目標(biāo)場景的渲染。

在這里，研究人員比較了使用傳統(tǒng)的自由空間傳播模型和學(xué)習(xí)得到的物理波導(dǎo)模型生成的相同場景的視頻全息圖像。這個比較展示了解析波導(dǎo)模型和人工智能算法混合的重要性，以實(shí)現(xiàn)高質(zhì)量的全彩色全息圖像。

這個例子展示了增強(qiáng)現(xiàn)實(shí)眼鏡設(shè)計(jì)如何獨(dú)特地呈現(xiàn)全彩色的3D視頻全息圖像。在空間光調(diào)制器上顯示的相位調(diào)制圖案產(chǎn)生一個波前，通過波導(dǎo)傳播，重構(gòu)出眼鏡中一個完整的3D場景視圖。

在這個3D增強(qiáng)現(xiàn)實(shí)場景中，虛擬機(jī)器人、魔方和自行車與真實(shí)的玩具鴨子和動作人物一起呈現(xiàn)。移動攝像機(jī)以聚焦不同的物體，以突出展示如何通過波導(dǎo)在不同深度呈現(xiàn)3D增強(qiáng)現(xiàn)實(shí)內(nèi)容。

值得注意的是，用于生成這些全息圖像的我們?nèi)⒃鰪?qiáng)現(xiàn)實(shí)眼鏡的組件可以適應(yīng)可穿戴形態(tài)，正如下面的3D打印原型所示：

論文：https://www.nature.com/articles/s41586-024-07386-0

?源代碼：https://github.com/computational-imaging/holographic-AR-glasses

譯自（有刪改）：https://www.computationalimaging.org/publications/holographicar/

誰是Gordon Wetzstein？

Gordon Wetzstein是斯坦福大學(xué)電氣工程系副教授，兼任計(jì)算機(jī)科學(xué)系副教授。他是斯坦福計(jì)算成像實(shí)驗(yàn)室的負(fù)責(zé)人，也是斯坦福圖像系統(tǒng)工程中心的教職人員聯(lián)合主任。Wetzstein教授的研究涉及計(jì)算機(jī)圖形學(xué)、視覺、人工智能、計(jì)算光學(xué)和應(yīng)用視覺科學(xué)的交叉領(lǐng)域，其研究在下一代成像、可穿戴計(jì)算和神經(jīng)渲染系統(tǒng)等方面具有廣泛的應(yīng)用。Wetzstein教授是Optica的會士，并獲得了眾多獎項(xiàng)，包括IEEE VGTC虛擬現(xiàn)實(shí)技術(shù)成就獎、NSF CAREER獎、Alfred P. Sloan獎學(xué)金、ACM SIGGRAPH顯著新研究人員獎、總統(tǒng)早期科學(xué)家和工程師獎（PECASE）、SPIE早期職業(yè)成就獎、電子成像年度科學(xué)家獎、Alain Fournier博士學(xué)位論文獎，以及許多最佳論文和演示獎項(xiàng)。

本文轉(zhuǎn)載自公眾號AIGC最前線   

原文鏈接：???https://mp.weixin.qq.com/s/vsJwUBlDE33IDe4AHLBq7g???