現(xiàn)在，打個(gè)游戲都用上Transformer了？！

老黃的DLSS進(jìn)行了一波大升級(jí)，換上了基于Transformer的新大腦。

用上新模型之后，光線重建和超分辨率，效果都變得更細(xì)膩了。

而且DLSS 3中的幀生成功能也升級(jí)到了DLSS 4多幀生成，一次性就能生成最多3幀畫面，把《黑神話：悟空》的幀率拉升到200+。

同時(shí)，英偉達(dá)還上新了一大批AI渲染技術(shù)，像畫面渲染中的重要部件——著色器，里面也有了AI的一席之地。

這波也算是給游戲開發(fā)者和玩家們送上了一份“新年大禮包”了。

英偉達(dá)這樣做的目的，當(dāng)然有給50系顯卡帶貨的成分，但有了這些黑科技，游戲玩家們的體驗(yàn)也確實(shí)能有所提升。

“大力水手”全面“換腦”

就像開頭說的，被游戲玩家們稱為“大力水手”的DLSS，迎來了一次全面更新。

（注：DLSS全稱Deep Learning Super Sampling，即深度學(xué)習(xí)超級(jí)采樣）

DLSS的核心思想，就是用AI運(yùn)算來取代一部分的渲染計(jì)算，從而在加快畫面產(chǎn)生速度的同時(shí)提升畫質(zhì)。

之前的DLSS，主要是通過卷積神經(jīng)網(wǎng)絡(luò)（CNN）來實(shí)現(xiàn)，現(xiàn)在隨著50系顯卡的上線，“大力水手”也進(jìn)行了“換腦”，CNN的工作被Transformer取代了。

據(jù)介紹，這是Transformer模型首次在圖形領(lǐng)域的實(shí)時(shí)應(yīng)用。

相比于過去的CNN，新的Transformer模型擁有兩倍的參數(shù)量，生成的像素穩(wěn)定性更強(qiáng)、重影更少，還擁有更高的運(yùn)動(dòng)細(xì)節(jié)以及更平滑的邊緣。

DLSS的兩個(gè)主要功能——光線重建和超分辨率，都已經(jīng)用上了Transformer。

比如在《心靈殺手2》的光線重建場(chǎng)景，全新的DLSS4相比于上一代基于CNN的算法，柵欄呈現(xiàn)出的連續(xù)性明顯更強(qiáng)，兩個(gè)場(chǎng)景下的光線也更加真實(shí)了。

如果感覺變化不明顯，可以看下靜態(tài)畫面的對(duì)比：

在超分辨率功能當(dāng)中，畫面細(xì)節(jié)相比之前的CNN也變得更加細(xì)膩。

另外新一代的幀生成功能也不再局限于單幀，支持一次生成最多3幀畫面。

比如在《賽博朋克2077》的場(chǎng)景中，相比于不開啟DLSS，DLSS 4的多幀生成可以在延遲降低超過一半的情況下將幀率從27提升到248，比例將近8倍。

另外，新模型速度提高了40%，使用的VRAM減少了 30%，例如在《戰(zhàn)錘40K：暗潮》中，幀速率提高了10%，同時(shí)在4K最大設(shè)置下減少了400MB顯存占用。

另外40系顯卡中的幀生成功能也進(jìn)行了升級(jí)，同樣是在提高性能的同時(shí)減少了VRAM的使用。

目前DLSS 4已經(jīng)提供了對(duì)75款游戲和應(yīng)用的Day 0支持，除了多幀生成是50系獨(dú)占之外，基于Transformer的光線重建、超分辨率等功能同時(shí)還可以給40、30甚至20系顯卡帶來性能提升。

隨便劇透一下，《黑神話：悟空》也將在Day-0支持DLSS 4多幀生成。

圖形渲染也用上AI了

與新版DLSS一起，英偉達(dá)還推出了一套神經(jīng)渲染技術(shù)——NVIDIA RTX Kit。

它可利用GPU中的Tensor Core，通過AI完成游戲中的光線追蹤，并渲染具有復(fù)雜幾何形狀的場(chǎng)景，可以用高保真度渲染出復(fù)雜的開放世界，同時(shí)減少偽影、不穩(wěn)定性并降低VRAM使用。

首先是RTX神經(jīng)網(wǎng)絡(luò)著色器（Neural Shader），它把AI引入到了可編程著色器當(dāng)中，包含了三大關(guān)鍵技術(shù)：

• 神經(jīng)網(wǎng)絡(luò)紋理壓縮（Neural Texture Compression ）：用AI快速壓縮紋理，在相同視覺質(zhì)量下消耗的VRAM或系統(tǒng)內(nèi)存只有1/7；
• 神經(jīng)網(wǎng)絡(luò)材質(zhì)（Neural Materials）：用AI壓縮復(fù)雜著色器代碼，材質(zhì)處理速度提高了5倍，可以以游戲畫面的幀速率渲染電影質(zhì)量的資源；
• 神經(jīng)網(wǎng)絡(luò)輻射緩存（Neural Radiance Cache）：用AI學(xué)習(xí)多次反射間接照明，利用最初的一到兩次反射即可推斷出無限多次的反射，從而提升了路徑追蹤性能。

來看一組開啟Neural Materials前后的效果對(duì)比，開啟之后（分割線右側(cè)）畫面中的材質(zhì)以及藍(lán)寶石的反光效果都變得更加真實(shí)。

還有像這樣的絲綢材質(zhì)，Neural Materials開啟后絲綢的光澤被更好地展現(xiàn)，畫面也更細(xì)膩了。

對(duì)比確實(shí)很明顯，不過對(duì)于實(shí)時(shí)畫面渲染來講，這些還算是灑灑水，真正具有挑戰(zhàn)的，是人臉的渲染。

這就涉及到了RTX Kit中的另一個(gè)組件——RTX Neural Faces，它利用生成式AI來提高人臉的渲染質(zhì)量。

Neural Faces采用簡(jiǎn)單的光柵化臉部加上3D姿勢(shì)數(shù)據(jù)作為輸入，用AI模型來推斷臉部（而不是蠻力渲染）。

Neural Faces背后的訓(xùn)練數(shù)據(jù)包含了不同的角度、光照、情緒和遮擋條件下的數(shù)千個(gè)臉部圖像，可以創(chuàng)造出更柔和、更自然的外觀。

Neural Faces還專門針對(duì)皮膚和頭發(fā)專門設(shè)計(jì)了補(bǔ)充SDK。

其中應(yīng)用了次表面散射（SSS）技術(shù)，可以模擬光線穿透半透明材料表面并在內(nèi)部散射的過程，從而更好地呈現(xiàn)皮膚質(zhì)感。

還有線性掃描球體（LSS）加速基元，可以減少渲染頭發(fā)所需的幾何體數(shù)量，并使用球體代替三角形來更準(zhǔn)確地適應(yīng)頭發(fā)形狀。

用英偉達(dá)的話說，Neural Faces這項(xiàng)技術(shù)“跨越了人像渲染的恐怖谷”。

還有針對(duì)三角形光線追蹤的RTX Mega Geometry。

在游戲當(dāng)中，三角形是構(gòu)成畫面的重要元素，其數(shù)量也隨時(shí)間呈現(xiàn)出指數(shù)級(jí)增長(zhǎng)，特別是虛幻引擎5推出新的幾何系統(tǒng)以來，游戲中的三角形數(shù)量已經(jīng)數(shù)以億計(jì)。

這對(duì)于幀畫面的構(gòu)建而言是一大噩夢(mèng)，想要保持足夠的幀速率更是難上加難。

Mega Geometry可以在GPU上批量智能更新三角形簇，從而減少CPU開銷并提高光線追蹤場(chǎng)景中的性能和圖像質(zhì)量，可處理的三角形數(shù)量是之前的100倍。

據(jù)英偉達(dá)介紹，Mega Geometry可以“對(duì)項(xiàng)目中的每個(gè)三角形進(jìn)行完全光線追蹤”。

眼見為實(shí)，一開始分割線左側(cè)的藤蔓未開啟Mega Geometry，非常沒有立體感，景深關(guān)系不對(duì)，光影也不符合物理規(guī)律，看上去就是一個(gè)字——假。

但開啟之后，藤蔓的立體感一下子就增強(qiáng)了，并且光影也更加真實(shí)，“貼圖感”消失了一大半。

Two More Things

除了畫面質(zhì)量，延遲也是游戲玩家們關(guān)心的重要參數(shù)，特別是在競(jìng)技游戲中，幾毫秒的輸入延遲可能就會(huì)決定勝負(fù)。

為此英偉達(dá)推出了Reflex 2，將上一代Reflex的低延遲模式與全新Frame Warp技術(shù)相結(jié)合，在將渲染幀發(fā)送至顯示器前，根據(jù)最新的鼠標(biāo)輸入信號(hào)對(duì)其進(jìn)行更新，可將PC延遲降低高達(dá) 75%。

為了解決Frame Warp過程中的圖像撕裂問題，英偉達(dá)還開發(fā)了一種優(yōu)化了延遲的預(yù)測(cè)渲染算法，該算法使用來自先前幀的視角、顏色和深度數(shù)據(jù)，對(duì)這些撕裂進(jìn)行準(zhǔn)確的圖像修復(fù)。

在上一屆CES上，英偉達(dá)展示的AI NPC技術(shù)（基于NVIDIA ACE實(shí)現(xiàn)）也吸引了不少眼球。

通過ACE，不需要事先準(zhǔn)備劇本，就能讓游戲中的人物像真人一樣與玩家語音對(duì)話。

現(xiàn)在這項(xiàng)技術(shù)也迎來了升級(jí)，應(yīng)用范圍擴(kuò)展到了擁有自主意識(shí)的游戲角色，比如AI隊(duì)友。

并且能力也更豐富，可以利用AI讓這些角色像真人玩家一樣感知、計(jì)劃和行動(dòng)。

另外，去年的AI NPC的對(duì)話內(nèi)容需要傳輸?shù)皆贫颂幚恚?/p>

現(xiàn)在50系顯卡運(yùn)算能力大幅提升，同時(shí)英偉達(dá)還推出了小語言模型，在算法和算力同時(shí)升級(jí)之后，對(duì)話內(nèi)容的處理在本地也能完成了。

《絕地求生 (PUBG: BATTLEGROUNDS)》中就會(huì)通過Ace服務(wù)和定制版Mistral小模型，在游戲中提供一個(gè)像真人一樣的虛擬隊(duì)友。

它可以和你對(duì)話并密切配合你的動(dòng)作，幫助標(biāo)記出物品，甚至開車過來和你匯合。

國產(chǎn)游戲方面，網(wǎng)易的《永劫無間 (NARAKA: BLADEPOINT)》PC版也將在今年年內(nèi)發(fā)布類似功能。

總之，工具老黃都已經(jīng)給大家準(zhǔn)備好，接下來的壓力給到游戲公司這邊了。