最近，網(wǎng)上一段來(lái)自谷歌的AI夜景拍攝視頻被刷爆了！

視頻中的這個(gè)技術(shù)叫RawNeRF，顧名思義就是NeRF的一個(gè)全新變體。

NeRF是一種全連接神經(jīng)網(wǎng)絡(luò)，使用2D圖像的信息作為訓(xùn)練數(shù)據(jù)，還原出3D場(chǎng)景。

RawNeRF比起之前的NeRF，有了多處改進(jìn)。不僅能完美降噪，還能改變相機(jī)視角，調(diào)整焦點(diǎn)、曝光和色調(diào)映射。谷歌的這篇論文于2021年11月發(fā)表，并被CVPR 2022收錄。

項(xiàng)目地址：https://bmild.github.io/rawnerf/

黑夜中的RawNeRF

在此之前，NeRF是使用色調(diào)映射的低動(dòng)態(tài)范圍LDR圖像作為輸入。

而谷歌的RawNeRF改為直接在線性原始圖像上進(jìn)行訓(xùn)練，可以保留場(chǎng)景的完整動(dòng)態(tài)范圍。

在合成視圖領(lǐng)域，處理黑暗的照片一直是一個(gè)難題。

因?yàn)樵谶@種情況下，圖像中的細(xì)節(jié)極少。而且這些圖像讓我們很難把新視圖拼接到一起。

還好，我們有一個(gè)新的方案——使用原始傳感器（RAW sensor data）的數(shù)據(jù)。

就是像這樣的一張圖，這樣，我們就有了更多的細(xì)節(jié)。

不過(guò)，仍然存在一個(gè)問(wèn)題：噪點(diǎn)也多了。

所以我們必須做個(gè)選擇：是更少的細(xì)節(jié)和更少的噪點(diǎn)，還是選擇更多的細(xì)節(jié)和更多的噪點(diǎn)。

好消息是：我們可以使用圖像降噪技術(shù)。

可以看到，降噪之后的圖像效果不錯(cuò)，但要合成視圖，這種質(zhì)量還是不夠。

不過(guò)圖像降噪技術(shù)給我們提供了一個(gè)思路：既然可以給單個(gè)圖像去噪，那也可以給一組圖像去噪。

讓我們來(lái)看看RawNeRF的效果。

而且，它還有更多令人驚喜的功能：對(duì)基礎(chǔ)數(shù)據(jù)進(jìn)行色調(diào)映射，從深色圖像中提取更多細(xì)節(jié)。

比如改變圖像的焦點(diǎn)，營(yíng)造出很棒的景深效果。

更厲害的是，這個(gè)還是實(shí)時(shí)的。

此外，圖像的曝光也會(huì)隨著焦點(diǎn)的變化而產(chǎn)生相應(yīng)的變化！

接下來(lái)，就讓我們看看RawNeRF的五個(gè)經(jīng)典的應(yīng)用場(chǎng)景吧。

五大經(jīng)典場(chǎng)景

1. 圖像清晰度

看這張圖像，你能看到路牌上的信息嗎？

可以看到，經(jīng)過(guò)RawNeRF處理后，路牌上的信息就清晰多了。

在下面這個(gè)動(dòng)圖里，我們可以清晰地看到原始的NeRF技術(shù)和RawNeRF在圖像合成上的區(qū)別。

其實(shí)，所謂的NeRF也并不是多古老的技術(shù)，時(shí)間才剛剛過(guò)了2年而已……

看得出來(lái)，RawNeRF在高光的處理上，表現(xiàn)得還是非常出色的，我們甚至能看到右下角車(chē)牌周?chē)母吖庾兓?/span>

2. 鏡面高光

鏡面高光屬于非常難捕捉的對(duì)象，因?yàn)樵谝苿?dòng)相機(jī)時(shí)，它們會(huì)發(fā)生很大的變化，而且照片之間的相對(duì)距離也比較遠(yuǎn)。這些因素對(duì)于學(xué)習(xí)算法來(lái)說(shuō)，都是巨大的挑戰(zhàn)。
在下面這張圖中可以看到，RawNeRF所生成的鏡面高光可以說(shuō)是相當(dāng)還原了。

3. 薄的結(jié)構(gòu)

即使在光線充足的情景中，以前的技術(shù)對(duì)于柵欄的顯示效果也并不好。

而RawNeRF即使處理有一堆柵欄的夜間照片，也妥妥hold得住。

即使在柵欄與車(chē)牌重合的地方，效果依然很好。

4. 鏡面反光

路面上的反光，是一種更有挑戰(zhàn)性的鏡面高光?？梢钥吹?，RawNeRF也處理得非常自然，非常真實(shí)。

5. 改變焦點(diǎn)，調(diào)整曝光

在這個(gè)場(chǎng)景中，讓我們?cè)囋嚫淖円暯牵粩嘧儞Q焦點(diǎn)，同時(shí)調(diào)整曝光。

在以前，要完成這些工作，我們需要從25到200張照片的集合。

而現(xiàn)在，我們只需要幾秒鐘，就可以完成拍攝了。

當(dāng)然，RawNeRF現(xiàn)在并不完美，我們可以看到，左邊的RawNeRF圖像和右邊的真實(shí)照片，還是有一些差異。

不過(guò)，從一組充滿噪點(diǎn)的原始圖像達(dá)到現(xiàn)在這樣的效果，RAWnerf已經(jīng)取得相當(dāng)大的進(jìn)步了。要知道，兩年前的技術(shù)還完全做不到這樣。

RAW的好處

簡(jiǎn)單回顧一下，NeRF訓(xùn)練管線所接收的是經(jīng)過(guò)相機(jī)處理的LDR圖像，之后的場(chǎng)景重建和視圖渲染，基于的都是LDR色彩空間。因此，NeRF的輸出實(shí)際上已經(jīng)是經(jīng)過(guò)了后期處理的，想要大幅修改和編輯是不可能了。

相比而言，RawNeRF是直接在線性原始HDR輸入數(shù)據(jù)上訓(xùn)練的。由此產(chǎn)生的渲染結(jié)果可以像任何原始照片一樣進(jìn)行編輯，如改變焦點(diǎn)和曝光等等。

由此帶來(lái)的好處主要有兩點(diǎn)：HDR視圖合成和降噪處理。

在亮度變化極大的場(chǎng)景中，固定的快門(mén)速度不足以捕捉到全部動(dòng)態(tài)范圍。RawNeRF模型則可以同時(shí)對(duì)短曝光和長(zhǎng)曝光進(jìn)行優(yōu)化處理，從而恢復(fù)完整的動(dòng)態(tài)范圍。

例如（b）中的這種大光比場(chǎng)景，就需要更復(fù)雜的局部色調(diào)映射算法（例如HDR+后期處理），才能同時(shí)保留暗部的細(xì)節(jié)和室外的高光。

此外，RawNeRF還可以使用線性顏色渲染具有正確飽和的「虛化」亮點(diǎn)的合成失焦效果。

在圖像噪點(diǎn)的處理上，作者進(jìn)一步地將RawNeRF在完全未經(jīng)處理的HDR線性原始圖像上進(jìn)行了訓(xùn)練，使其變成了一個(gè)能處理幾十甚至幾百?gòu)堓斎雸D像的「降噪器」。

這種魯棒性也就意味著，RawNeRF可以出色地完成在黑暗中重建場(chǎng)景的任務(wù)。

例如在（a）這個(gè)只有一根蠟燭照明的夜景中，RawNeRF可以從嘈雜的原始數(shù)據(jù)中提取出本來(lái)會(huì)被后期處理破壞的細(xì)節(jié)（b，c）。

作者介紹

論文的第一作者Ben Mildenhall是谷歌研究院的一名研究科學(xué)家，從事計(jì)算機(jī)視覺(jué)和圖形方面的問(wèn)題。

他在2015年于斯坦福大學(xué)取得計(jì)算機(jī)科學(xué)和數(shù)學(xué)學(xué)士學(xué)位，并在2020年于加州大學(xué)伯克利分校取得計(jì)算機(jī)科學(xué)博士學(xué)位。

剛剛結(jié)束的CVPR 2022，可以說(shuō)是Ben的高光時(shí)刻了。

7篇錄用論文中有5篇拿下Oral，并且還有一篇獲得了最佳學(xué)生論文的榮譽(yù)提名。

網(wǎng)友評(píng)論

視頻一出，立馬驚艷了眾網(wǎng)友。大家一起腦洞大開(kāi)。

看這技術(shù)進(jìn)步的速度，要不了多久，夜間拍照再也不用愁了~