人工智能正在改變世界，圖形計(jì)算這塊也不例外。

五年前，英偉達(dá)推出了DLSS技術(shù)，通過(guò)每個(gè)GeForce RTX GPU中的Tensor Core實(shí)現(xiàn)神經(jīng)渲染來(lái)提高性能，在圖形領(lǐng)域帶來(lái)了速度更快、圖像質(zhì)量更高的圖形處理革命。

圖片

從那時(shí)起，DLSS背后的Al模型就在不斷學(xué)習(xí)新的功能，如「幀生成」（Frame Generation），不僅將渲染速度提高了4倍，還獲得了出色的圖像質(zhì)量。

圖片

今天，英偉達(dá)推出了NVIDIA DLSS 3.5，再次推動(dòng)了渲染技術(shù)的發(fā)展。

這是一種全新的AI模型，采用了光線重建（Ray Reconstruction）技術(shù)，能為密集型光追游戲和應(yīng)用程序，創(chuàng)建更高質(zhì)量的光追圖像。

而且，因?yàn)镈LSS 3.5之中的光線重建技術(shù)本身不依賴(lài)硬件，所以老的RTX系列的顯卡也能享受到這項(xiàng)技術(shù)升級(jí)。

不得不說(shuō)黃老板還是厚道呀。

舉個(gè)栗子，RTX 4060可以享受到目前DLSS技術(shù)中的「SR+FG+RR」；RTX 2060可以享受到「SR+RR」。

那我們現(xiàn)在就再來(lái)看看光線重構(gòu)（RR）技術(shù)的原理具體是什么樣的。

工作原理

為了了解光線重建的好處，我們需要了解光線追蹤圖像的原理。

光線追蹤是一種圖形渲染方法，可以模擬光線的物理行為。

首先，游戲引擎生成了場(chǎng)景的幾何形狀和材質(zhì)，它們都具有物理屬性，會(huì)影響它們的外觀以及光線與它們的交互方式。

從攝像機(jī)的視角來(lái)拍攝光線樣本，能夠確定場(chǎng)景中光源的屬性以及光線照射到材料上時(shí)的反應(yīng)。例如，如果光線照射到鏡子上，就會(huì)產(chǎn)生反射。

但如果為屏幕上的每個(gè)像素發(fā)射光線，在計(jì)算上就太過(guò)耗時(shí)。

即使是對(duì)需要數(shù)分鐘或數(shù)小時(shí)計(jì)算場(chǎng)景的離線渲染器來(lái)說(shuō)，也是如此。

因此，必須使用光線樣本，即能在場(chǎng)景的各個(gè)點(diǎn)發(fā)射少量光線，以獲取場(chǎng)景光照、反射和陰影的代表性樣本。

圖片

它可以輸出一個(gè)帶有噪點(diǎn)和空白間隙的圖像，來(lái)確定在光線追蹤時(shí)場(chǎng)景應(yīng)該如何呈現(xiàn)。

為了填補(bǔ)未經(jīng)光線追蹤的缺失像素，手動(dòng)調(diào)整的降噪器使用了兩種不同的方法：

一種是在時(shí)間上累積多個(gè)幀的像素，另一種是在空間上進(jìn)行插值，將相鄰像素混合在一起。

通過(guò)這一過(guò)程，嘈雜的原始輸出被轉(zhuǎn)換成光線追蹤圖像。

這些手動(dòng)調(diào)整的降噪器，需要為場(chǎng)景中每種類(lèi)型的光線追蹤光照進(jìn)行人工調(diào)整和處理。

這增加了開(kāi)發(fā)過(guò)程中的復(fù)雜性，也提高了成本。

在高度光線追蹤的游戲中，如果讓多個(gè)降噪器同時(shí)運(yùn)行以最大化圖像質(zhì)量，還會(huì)降低幀率。

每個(gè)手動(dòng)調(diào)整的降噪器，會(huì)從多個(gè)幀中積累像素以增加細(xì)節(jié)，這實(shí)際上是從過(guò)去「竊取」了光線。

但是，這樣做也有可能會(huì)引入重影、消除動(dòng)態(tài)效果，或者降低其他效果的質(zhì)量。

它還能插入相鄰像素，并將這些信息混合在一起。

但這樣做的風(fēng)險(xiǎn)可能會(huì)導(dǎo)致混合掉過(guò)多的詳細(xì)信息，或者混合不足，產(chǎn)生不均勻的光照效果。

圖片

升頻是光線追蹤照明流水線的最后一個(gè)階段，也是在快速幀速率下體驗(yàn)最精細(xì)、要求最高的游戲的關(guān)鍵。

但是由于降噪處理會(huì)移除或減少效果的質(zhì)量，手動(dòng)調(diào)整的降噪器的局限性會(huì)被放大，這會(huì)削弱許多細(xì)節(jié)（也稱(chēng)為高頻信息）。

而這些細(xì)節(jié)，是就超分辨率技術(shù)用來(lái)輸出清晰、干凈圖像的關(guān)鍵。

圖片

為此，英偉達(dá)提出的解決方案，就是DLSS 3.5。

他們的最大創(chuàng)新在于光線重建，這是一個(gè)增強(qiáng)版AI驅(qū)動(dòng)的神經(jīng)渲染器，用經(jīng)過(guò)NVIDIA超算訓(xùn)練的AI網(wǎng)絡(luò)，替代了手動(dòng)調(diào)整的降噪器。

這樣就在采樣的光線之間生成了更高質(zhì)量的像素，從而提高了所有GeForce RTX GPU的光追圖像質(zhì)量。

圖片

DLSS 3.5的訓(xùn)練數(shù)據(jù)比DLSS 3多了5倍，因此它能夠識(shí)別不同的光追效果，以更智能的方式?jīng)Q定如何使用時(shí)間和空間數(shù)據(jù)，并保留高頻信息，從而實(shí)現(xiàn)優(yōu)質(zhì)超分辨率。

圖片

離線渲染圖像所需的計(jì)算能力遠(yuǎn)高于實(shí)時(shí)游戲所需的計(jì)算能力，而光線重構(gòu)技術(shù)可從訓(xùn)練數(shù)據(jù)中識(shí)別光照模式，如全局光照或環(huán)境遮擋，并在游戲中邊玩邊重現(xiàn)。

這個(gè)結(jié)果優(yōu)于使用手動(dòng)調(diào)整的降噪器。

圖片

在支持RTX的《傳送門(mén)》中，當(dāng)DLSS關(guān)閉時(shí)，降噪器在空間插值方面會(huì)出現(xiàn)問(wèn)題，無(wú)法混合足夠的像素，從而產(chǎn)生斑點(diǎn)效果。

此外，它也沒(méi)有從以前的幀中積累足夠的好像素，導(dǎo)致在光線下會(huì)出現(xiàn)沸騰效果。

有了DLSS 3.5后，它就能識(shí)別與反射相關(guān)的某些模式，并保持圖像穩(wěn)定，積累精確像素、同時(shí)混合相鄰像素，生成高質(zhì)量的反射效果。

圖片

在以下《賽博朋克2077》的場(chǎng)景中，圍繞汽車(chē)的車(chē)頭燈照明效果不準(zhǔn)確。這是由于手動(dòng)調(diào)整的降噪器從之前幀中提取了不準(zhǔn)確的光照效果。

而DLSS 3.5能夠準(zhǔn)確生成光照效果。我們不僅可以清楚地看到車(chē)頭燈的光束，還能夠看到光線在汽車(chē)前方路緣上的反射。

圖片

《賽博朋克2077》中的夜之城街道上充滿了來(lái)自旋轉(zhuǎn)廣告牌和霓虹燈的反射。

通過(guò)啟用DLSS 3.5，這些反射的質(zhì)量和清晰度會(huì)在整個(gè)城市范圍內(nèi)得到極大的提升。

圖片

另外，各種創(chuàng)意應(yīng)用對(duì)傳統(tǒng)降噪器來(lái)說(shuō)也是一個(gè)挑戰(zhàn)。因?yàn)樗鼈冃枰鶕?jù)每個(gè)場(chǎng)景進(jìn)行手動(dòng)調(diào)整，所以在預(yù)覽內(nèi)容時(shí)，圖像質(zhì)量會(huì)不夠理想。

而有了DLSS 3.5，AI神經(jīng)網(wǎng)絡(luò)就能夠識(shí)別各種各樣的場(chǎng)景，在預(yù)覽和最終渲染之前生成高質(zhì)量的圖像。

此外，D5 Render是一個(gè)面向建筑師和設(shè)計(jì)師的先進(jìn)應(yīng)用程序，它將于今年秋季與DLSS 3.5一同推出。

圖片

得益于RTX技術(shù)，現(xiàn)在我們?cè)赑C或筆記本上就能擁有兩臺(tái)計(jì)算機(jī)的動(dòng)力。

第一臺(tái)是英偉達(dá)超算，它用數(shù)十億個(gè)數(shù)據(jù)點(diǎn)對(duì)DLSS AI模型進(jìn)行訓(xùn)練，以提升性能和圖像質(zhì)量。

第二臺(tái)就是GeForce RTX顯卡，它專(zhuān)用的張量核心可以實(shí)時(shí)運(yùn)行AI模型，而專(zhuān)門(mén)的RT核心、創(chuàng)新技術(shù)（如著色器執(zhí)行重排序）以及每個(gè)RTX GPU的強(qiáng)大性能，都保證了一流的光追效果。

圖片

在《賽博朋克2077》中，超頻模式提供的全光追效果離不開(kāi)AI的支持。

DLSS超分辨率（SR）能夠從較低分辨率的輸入中重建4K圖像，帶來(lái)顯著的性能提升和出色的圖像質(zhì)量。

另外，英偉達(dá)還在GeForce RTX 40系列GPU上啟用了DLSS幀生成（FG），它可以分析連續(xù)幀來(lái)創(chuàng)建額外幀，從而進(jìn)一步提高流暢度。

因此，即使是在要求最苛刻、動(dòng)作最密集的時(shí)刻，也能進(jìn)一步提高性能。

NVIDIA DLSS 3.5還通過(guò)用光線重建替代了多個(gè)手動(dòng)調(diào)整的降噪器，進(jìn)一步提升了光追效果的圖像質(zhì)量。

圖片

通過(guò)結(jié)合超分辨率、幀生成和光線重建，與原生4K DLSS關(guān)閉渲染相比，DLSS 3.5將《賽博朋克2077》的幀率提高了5倍。

需要注意的是，具有多個(gè)光追效果的游戲可能有多個(gè)降噪器，而這些降噪器將被單一的光線重建神經(jīng)網(wǎng)絡(luò)所取代。

在這種情況下，光線重建也可以提供性能提升。對(duì)于光追較少、降噪器較少的游戲，光線重建可以提高圖像質(zhì)量，但可能會(huì)略微降低性能。

GeForce RTX 40系列用戶可以將超分辨率和幀生成與光線重建相結(jié)合，從而獲得令人驚嘆的性能和圖像質(zhì)量。

而GeForce RTX 20和30系列用戶，則可以在超分辨率和DLAA的基礎(chǔ)上，將光線重建添加到AI強(qiáng)化工具中。

光線重建是開(kāi)發(fā)人員提高光追游戲圖像質(zhì)量的新選擇，也是DLSS 3.5的一部分。

采用DLSS 3.5的光柵化游戲，還包括我們最新超分辨率和DLAA更新，但由于缺乏光追效果，它們從光線重建中受益。

圖片

今年秋天，這些游戲就支持DLSS 3.5了

NVIDIA DLSS 3.5將于今年秋季在以下游戲和軟件中推出——

《艾倫·沃克2》、《賽博朋克2077：自由幻影》、《傳送門(mén)》、Chaos Vantage、D5 Render和NVIDIA Omniverse。

圖片

參考資料：

https://blogs.nvidia.com/blog/2023/08/22/dlss-ai-rtx-remix-half-life-d5-render-chaos-vantage/