世界上第一個(gè)完全由神經(jīng)模型驅(qū)動(dòng)的游戲引擎，剛剛誕生了！

「黑神話：悟空」的熱度正旺，AI又在游戲中創(chuàng)造了全新的里程碑。

史上首次，AI能在沒有游戲引擎的情況下，為玩家生成實(shí)時(shí)游戲了。

從此，我們開始進(jìn)入一個(gè)炸裂的新時(shí)代：游戲不僅能被AI玩，還能由AI來創(chuàng)造和驅(qū)動(dòng)。

谷歌的GameNGen，可以在單個(gè)TPU上，讓AI以每秒20幀的速度，生成實(shí)時(shí)可玩的游戲。每一幀，都是由擴(kuò)散模型預(yù)測的。

幾年后，AI實(shí)時(shí)生成3A游戲大作的愿望還會(huì)遠(yuǎn)嗎？

從此，開發(fā)者不必再手動(dòng)編程游戲邏輯，開發(fā)時(shí)間和成本都會(huì)顯著降低。

價(jià)值2000億美元的全球游戲產(chǎn)業(yè)，可能會(huì)被徹底顛覆！

谷歌研究者表示，GameNGen是第一個(gè)完全由神經(jīng)模型驅(qū)動(dòng)的游戲引擎，能夠在復(fù)雜環(huán)境中，實(shí)現(xiàn)高質(zhì)量的長軌跡實(shí)時(shí)交互。

論文地址：https://arxiv.org/abs/2408.14837

不僅速度是實(shí)時(shí)的，它的優(yōu)秀畫質(zhì)，也是讓開發(fā)者顫抖的地步。

模擬「毀滅戰(zhàn)士」時(shí)，它下一幀預(yù)測的峰值信噪比（PSNR）達(dá)到了29.4，已經(jīng)可以和有損JPEG壓縮相媲美。

在神經(jīng)網(wǎng)絡(luò)上實(shí)時(shí)運(yùn)行時(shí)，視覺質(zhì)量已經(jīng)達(dá)到了與原始游戲相當(dāng)。

模擬片段和游戲片段如此相似，讓不少人類被試都分不清，眼前的究竟是游戲還是模擬？

網(wǎng)友感慨：這不是游戲，這是人生模擬器。

小島秀夫的另一個(gè)預(yù)言，成真了。

3A電視劇是不是也來了？想象下，按照自己的喜好生成一版《權(quán)游》。

想象下，1000年后或一百萬年后，這項(xiàng)技術(shù)是什么樣？我們是模擬的概率，已經(jīng)無限接近于1了。

從此，游戲開發(fā)不再需要游戲引擎？

AI首次完全模擬具有高質(zhì)量圖形和復(fù)雜交互的復(fù)雜視頻游戲，就做到了這個(gè)地步，實(shí)在是太令人驚嘆了。

作為最受歡迎、最具傳奇色彩的第一人稱射擊游戲，自1993年發(fā)布以來，「毀滅戰(zhàn)士」一直是個(gè)技術(shù)標(biāo)桿。

它被移植到一系列超乎想象的平臺(tái)上，包括微波爐、數(shù)碼相機(jī)、洗衣機(jī)、保時(shí)捷等等。

而這次，GameNGen把這些早期改編一舉超越了。

從前，傳統(tǒng)的游戲引擎依賴的是精心編碼的軟件，來管理游戲狀態(tài)和渲染視覺效果。

而GameNGen，只用AI驅(qū)動(dòng)的生成擴(kuò)散模型，就能自動(dòng)模擬整個(gè)游戲環(huán)境了。

從視頻中可以看出，神經(jīng)網(wǎng)絡(luò)復(fù)現(xiàn)游戲標(biāo)志性視覺效果的能力簡直是一絕，AI實(shí)時(shí)生成復(fù)雜交互環(huán)境的潛力非常驚人

「毀滅戰(zhàn)士」一直以復(fù)雜的3D環(huán)境和快節(jié)奏的動(dòng)作聞名，現(xiàn)在，所有這些都不需要游戲引擎的常用組件了！

AI引擎的意義，不僅僅是減少游戲的開發(fā)時(shí)間和成本。

這種技術(shù)，可以使游戲創(chuàng)作徹底民主化，無論是小型工作室，還是個(gè)人創(chuàng)作者，都能創(chuàng)造出從前難以想象的復(fù)雜互動(dòng)體驗(yàn)。

此外，AI游戲引擎，還給全新的游戲類型打開了大門。

無論是環(huán)境、敘事，還是游戲機(jī)制，都可以根據(jù)玩家的行為動(dòng)態(tài)來發(fā)展。

從此，游戲格局可能會(huì)被整個(gè)重塑，行業(yè)會(huì)從熱門游戲?yàn)橹行牡哪Ｊ?，轉(zhuǎn)向更多樣化的生態(tài)系統(tǒng)。

順便一提，「DOOM」的大小只有12MB。

大佬們「瘋了」

AI初創(chuàng)HyperWrite的CEO Matt Schumer表示，這簡直太瘋狂了！用戶玩游戲時(shí)，一個(gè)模型正在實(shí)時(shí)生成游戲。

如果將大多數(shù)AI模型的進(jìn)展/軌跡映射到這上面，那么在幾年內(nèi)，我們將會(huì)得到3A級(jí)生成游戲。

英偉達(dá)高級(jí)科學(xué)家Jim Fan感慨道，被黑客們在各種地方瘋狂運(yùn)行的DOOM，竟然在純粹的擴(kuò)散模型中實(shí)現(xiàn)了，每個(gè)像素都是生成的。

連Sora跟它比起來，都黯然失色。我們只能設(shè)定初始條件（一個(gè)文本或初始幀），然后只能被動(dòng)觀看模擬過程。

因?yàn)镾ora無法進(jìn)行交互，因此還不算是一個(gè)「數(shù)據(jù)驅(qū)動(dòng)的物理引擎」。

而GameNGen是一個(gè)真正的神經(jīng)世界模型。它將過去的幀（狀態(tài)）和用戶的一個(gè)動(dòng)作（鍵盤/鼠標(biāo)）作為輸入，并輸出下一幀。這種質(zhì)量，是他見過的最令人印象深刻的DOOM。

隨后，他深度探討了一些GameNGen中存在的限制。

比如在單個(gè)游戲上過擬合到了極致；無法想象新的場景，無法合成新的游戲或交互機(jī)制；數(shù)據(jù)集的瓶頸，導(dǎo)致了方法無法推廣；無法實(shí)現(xiàn)用提示詞創(chuàng)造可玩世界，或用世界模型訓(xùn)練更好的具身AI，等等。

一個(gè)真正有用的神經(jīng)世界模型，應(yīng)該是什么樣子？

馬斯克的回答是：「特斯拉可以用真實(shí)世界的視頻做類似的事情」。

的確，數(shù)據(jù)是難點(diǎn)。

Autopilot團(tuán)隊(duì)可能擁有數(shù)萬億的數(shù)據(jù)對（攝像頭視頻，方向盤動(dòng)作）。

有了如此豐富的真實(shí)世界數(shù)據(jù)，完全有可能訓(xùn)練一個(gè)涵蓋各種極端情況的通用駕駛模擬器，并使用它來部署和驗(yàn)證新的完全自動(dòng)駕駛（FSD）版本，而不需要實(shí)體車輛。

最后Jim Fan總結(jié)道：不管怎么說，GameNGen仍是一個(gè)非常出色的概念驗(yàn)證——至少我們現(xiàn)在知道，9億幀是將高分辨率DOOM壓縮到神經(jīng)網(wǎng)絡(luò)中的上限。

網(wǎng)友們感慨：擴(kuò)散網(wǎng)絡(luò)學(xué)習(xí)物理引擎和游戲規(guī)則的方式，太瘋狂了。

核心作者：個(gè)人里程碑

谷歌DeepMind核心貢獻(xiàn)者，項(xiàng)目負(fù)責(zé)人Shlomi Fruchter，在社交媒體上，介紹了自己開發(fā)GameNGen的過程。

他表示，「GameNGen是自己開發(fā)路上的里程碑」。

從最初手寫GPU渲染代碼（顯式），到現(xiàn)在訓(xùn)練能在GPU上運(yùn)行的神經(jīng)網(wǎng)絡(luò)（隱式），甚至包含了游戲邏輯，讓我有一種實(shí)現(xiàn)了完整「閉環(huán)」的感覺。

Fruchter進(jìn)行的第一個(gè)大型編碼項(xiàng)目之一是3D引擎（如下圖所示）。早在2002年，GPU仍只能用于渲染圖形。

還記得，第一款圖形處理器GeForce 256是在1999年發(fā)行。

渲染3D圖形恰好需要大量的矩陣運(yùn)算，這恰恰是GPU所擅長的。

然后谷歌研究人員編寫高級(jí)著色器語言代碼，計(jì)算自定義渲染邏輯并構(gòu)建新的視覺效果，同時(shí)還能保持高幀率。

GameNGen的誕生，是源于一個(gè)好奇心：

「我們能否在當(dāng)前的處理器上，運(yùn)行一個(gè)隱式神經(jīng)網(wǎng)絡(luò)，來進(jìn)行實(shí)時(shí)互動(dòng)游戲」。

對于Fruchter以及團(tuán)隊(duì)成員來說，最終答案是一個(gè)令人興奮的發(fā)現(xiàn)。

AI大牛Karpathy曾說過，100%純軟件2.0計(jì)算機(jī)，只有一個(gè)神經(jīng)網(wǎng)絡(luò)，完全沒有傳統(tǒng)軟件。

設(shè)備輸入（音頻、視頻、觸摸等）直接到神經(jīng)網(wǎng)絡(luò)中，其輸出直接作為音頻/視頻在揚(yáng)聲器/屏幕上顯示，就是這樣。

有網(wǎng)友便問道，那就是它不能運(yùn)行DOOM了？

對此，Karpathy表示，如果能夠很好提出請求，它可能可以非常接近地模擬DOOM。

而現(xiàn)在，F(xiàn)ruchter更加肯定，它可以運(yùn)行DOOM了。

另一位谷歌作者Dani Valevski也轉(zhuǎn)發(fā)了此帖，對此愿景表示極度認(rèn)可。

GameNGen或許標(biāo)志著游戲引擎全新范式的開啟，想象一下，和自動(dòng)生成的圖像或視頻一樣，游戲也是自動(dòng)生成的。

雖然關(guān)鍵問題依舊存在，比如如何訓(xùn)練、如何最大程度利用人類輸入，以及怎樣利用神經(jīng)游戲引擎創(chuàng)建全新的游戲。但作者表示，這種全新范式的可能性讓人興奮。

而且，GameNGen的名字也暗藏彩蛋，可以讀出來試一試——和Game Engine有相似的發(fā)音。

Agent采集軌跡，SD預(yù)測生成

在手動(dòng)制作計(jì)算機(jī)游戲的時(shí)代，工作流程包括（1）收集用戶輸入（2）更新游戲狀態(tài)，以及（3）將更新后的狀態(tài)渲染為屏幕像素，計(jì)算量取決于幀率。

盡管極客工程師們手中的Doom可以在ipod、相機(jī)，甚至微波爐、跑步機(jī)等各種硬件上運(yùn)行，但其原理依舊是原樣模擬模擬手動(dòng)編寫的游戲軟件。

看起來截然不同的游戲引擎，也遵循著相同的底層邏輯——工程師們手動(dòng)編程，指定游戲狀態(tài)的更新規(guī)則和渲染邏輯。

如果和擴(kuò)散模型的實(shí)時(shí)視頻生成放在一起，乍一看好像沒什么區(qū)別。然而，正如Jim Fan指出的交互式世界模擬不僅僅是非?？焖俚囊曨l生成。

其一，生成過程需要以用戶的輸入動(dòng)作流為條件，這打破了現(xiàn)有擴(kuò)散模型架構(gòu)的一些假設(shè)。

其二，模型需要自回歸生成幀，這往往會(huì)導(dǎo)致采樣發(fā)散、模型不穩(wěn)定等問題。

Agent數(shù)據(jù)收集

由于無法直接對游戲數(shù)據(jù)進(jìn)行大規(guī)模采樣，因此首先教會(huì)一個(gè)agent玩游戲，在各種場景中生成類似于人類且足夠多樣化的訓(xùn)練數(shù)據(jù)。

agent模型使用深度強(qiáng)化學(xué)習(xí)方法進(jìn)行PPO訓(xùn)練，以簡單的CNN作為特征網(wǎng)絡(luò)，共生成900M幀的??_a?g?e?n?t數(shù)據(jù)集，包括agent的動(dòng)作以及對環(huán)境的觀察，用于后續(xù)的訓(xùn)練 、推理和微調(diào)。

訓(xùn)練生成模型

GameNGen使用的Stable Diffusion 1.4是文生圖擴(kuò)散模型，其中最重要的架構(gòu)修改就是，讓以文本為條件的模型適應(yīng)數(shù)據(jù)集中的動(dòng)作數(shù)據(jù)a_{<n}和對先前幀的觀察結(jié)果o_{<n}。

具體來說，首先訓(xùn)練一個(gè)嵌入模塊A_e?m?b，將agent的每個(gè)動(dòng)作（例如特定的按鍵）轉(zhuǎn)換為單個(gè)token，并將交叉注意力中的文本替換為編碼后的動(dòng)作序列。

為了能接受o_{<n}作為條件，同樣使用自動(dòng)編碼器?將其編碼到潛在空間中（即x_t），同時(shí)在潛在的通道維度上與噪聲隱變量ε_(tái)α拼接在一起。

實(shí)驗(yàn)中也嘗試過用交叉注意力處理o_{<n}輸入，但并沒有明顯改進(jìn)。

相比原來的Stable Diffusion，GameNGen對優(yōu)化方法也做了改進(jìn)，使用velocity parameterization方法最小化擴(kuò)散損失。

GameNGen方法概述（省略v-prediction細(xì)節(jié)）

噪聲增強(qiáng)減輕自回歸漂移

從原Stable Diffusion的教師強(qiáng)制訓(xùn)練轉(zhuǎn)換為游戲引擎中的自回歸采樣，會(huì)不可避免地導(dǎo)致錯(cuò)誤累積和樣本質(zhì)量快速下降。

為了避免這個(gè)問題，訓(xùn)練生成模型時(shí)會(huì)在編碼過的上下文幀中添加不同數(shù)量的高斯噪聲，同時(shí)將噪聲水平作為模型的輸入，從而讓降噪網(wǎng)絡(luò)可以糾正先前幀中采樣的信息。

這些操作對于隨著時(shí)間推移時(shí)保證幀質(zhì)量至關(guān)重要。在推理過程中，也可以控制添加的噪聲水平以最大限度地提高生成質(zhì)量。

自回歸漂移：上圖中， 20-30個(gè)步驟后，生成質(zhì)量會(huì)快速下降；而下圖中，具有噪聲增強(qiáng)的相同軌跡不會(huì)出現(xiàn)質(zhì)量下降

推理

模型在推理時(shí)使用DDIM采樣方法。之所以能達(dá)到20FPS的實(shí)時(shí)生成效率，與GameNGen推理期極高的采樣效率直接相關(guān)。

通常，生成擴(kuò)散模型（例如Stable Diffusion）無法只用單個(gè)去噪步驟產(chǎn)生高質(zhì)量結(jié)果，而是需要數(shù)十個(gè)采樣步驟。

但令人驚訝的是，GameNGen只需4個(gè)DDIM采樣步驟就能穩(wěn)健地模擬 DOOM，而且相比使用20個(gè)或更多采樣步驟時(shí)，質(zhì)量并沒有明顯下降。

作者推測，這可能源于多個(gè)因素的共同作用，包括可采樣的圖像空間受限，以及通過先前幀信息施加了較強(qiáng)的條件限制。

僅使用4個(gè)降噪步驟讓U-Net的推理成本降低至40ms，加上自動(dòng)編碼器，總推理成本為50ms，相當(dāng)于每秒生成20幀圖像。

實(shí)驗(yàn)還發(fā)現(xiàn)，模型蒸餾后進(jìn)行單步采樣能夠進(jìn)一步提高幀率，達(dá)到50FPS，但會(huì)以犧牲模擬質(zhì)量為代價(jià)，因此最后還是選用了20FPS的采樣方案。

AI游戲生成太逼真，60%片段玩家沒認(rèn)出

模擬質(zhì)量

總的來說，就圖像質(zhì)量而言，GameNGen在長時(shí)間軌跡上預(yù)測，達(dá)到了與原始游戲相當(dāng)?shù)哪M質(zhì)量。

對于短時(shí)間軌跡，人評估者在模擬片段和真實(shí)游戲畫面中，進(jìn)行區(qū)分時(shí)，比隨機(jī)猜測略強(qiáng)一些。

這意味著什么？

AI生成的游戲畫面，太過逼真沉浸，讓人類玩家有時(shí)根本無法辨別。

圖像質(zhì)量

這里，評估中采用了LPIPS和PSNR作為評估指標(biāo)。這是在強(qiáng)制教學(xué)設(shè)置下進(jìn)行測量，即基于真實(shí)過去觀察預(yù)測單個(gè)幀。

對5個(gè)不同關(guān)卡中，隨機(jī)抽取的2048個(gè)軌跡進(jìn)行評估時(shí)，GameNGen達(dá)到了29.43的PSNR和0.249的LPIPS。

下圖5展示了，模型預(yù)測和相應(yīng)的真實(shí)樣本示例。

視頻質(zhì)量

針對視頻質(zhì)量，研究人員使用了自回歸設(shè)置，即模型基于自己的過去預(yù)測來生成后續(xù)幀。

不過，預(yù)測和真實(shí)軌跡在幾步后會(huì)發(fā)生偏離，主要是由于幀間移動(dòng)速度的微小差異累積。

如下圖6所示，隨著時(shí)間推移，每幀的PSNR值下降，LPIPS值上升。

預(yù)測軌跡在內(nèi)容和圖像質(zhì)量方面，仍與實(shí)際游戲相似，但逐幀指標(biāo)在捕捉這一點(diǎn)上，能力有限。

因此，研究團(tuán)隊(duì)測量了在512個(gè)隨機(jī)保留軌跡上，計(jì)算的FVD（用于測量預(yù)測和真實(shí)軌跡分布之間的距離）。

這里，分別對16幀（0.8秒）和32幀（1.6秒）兩種模擬長度，進(jìn)行了測試。

最終，得到的FVD分別是114.02，以及186.23。

人工評估

為了得到更真實(shí)的評估，研究者向10名人類評分者，提供了130個(gè)隨機(jī)短片段（長度為1.6秒和3.2秒）。

并且，將GameNGen模擬的游戲和真實(shí)游戲并排對比，如下所示。

評估者的任務(wù)，便是識(shí)別其中，哪一個(gè)是真實(shí)游戲。

結(jié)果發(fā)現(xiàn)，針對1.6秒生成游戲的片段，在58%情況下，他們認(rèn)為GameNGen生成游戲是真實(shí)的。

而對于3.2秒片段，這一比率更高，達(dá)到了60%。

消融實(shí)驗(yàn)

接下來，研究者評估了架構(gòu)中，不同組件的重要性，從評估數(shù)據(jù)集中采樣軌跡，并計(jì)算地面真值與預(yù)測幀之間的LPIPS和PSNR指標(biāo)。

上下文

通過訓(xùn)練N∈{1, 2, 4, 8, 16, 32, 64}模型，測試上下文中過去觀察數(shù)量N的影響。（標(biāo)準(zhǔn)模型使用了N=64）。

這影響了歷史幀和動(dòng)作的數(shù)量。

保持解碼器凍結(jié)情況下，訓(xùn)練模型200,000步，并在5個(gè)關(guān)卡的測試集軌跡上進(jìn)行評估。

結(jié)果如下表1所示，如預(yù)期一樣，研究者觀察到GameNGen生成質(zhì)量，隨著上下文增加，而提升。

更有趣的是，在1幀和2幀之間，這一改進(jìn)非常大，但往后開始很快接近了閾值線，改進(jìn)質(zhì)量逐漸放緩。

即便用上了最大上下文（64幀），GameNGen模型也僅能訪問，略超過3秒的歷史信息。

另一個(gè)發(fā)現(xiàn)是，大部分游戲狀態(tài)可能會(huì)持續(xù)更長時(shí)間。

表1結(jié)果很好地說明了，未來可能需要改變模型架構(gòu)，來支持更長的上下文。同時(shí)，探索更好的方法，采用過去幀作為條件。

噪聲增強(qiáng)

為了消除噪聲增強(qiáng)的影響，研究人員還訓(xùn)練了一個(gè)沒有添加噪聲的模型。

通過對比評估，經(jīng)過噪聲增強(qiáng)的標(biāo)準(zhǔn)模型和沒有添加噪聲的模型（在200k訓(xùn)練步驟后），以自回歸方式計(jì)算預(yù)測幀與真實(shí)幀之間的PSNR和LPIPS指標(biāo)。

如下圖7所示，呈現(xiàn)了每個(gè)自回歸步驟的平均指標(biāo)值，總共達(dá)64幀。

這些評估是在隨機(jī)保留的512條軌跡上進(jìn)行的。

結(jié)果顯示，沒有噪聲增強(qiáng)時(shí)，與真實(shí)值的LPIPS距離，比起研究標(biāo)準(zhǔn)噪聲增強(qiáng)模型增加得更快，而PSNR下降，表明模擬與真實(shí)值的偏離。

智能體

最后，研究人員將智能體生成的數(shù)據(jù)訓(xùn)練，與使用隨機(jī)策略生成的數(shù)據(jù)訓(xùn)練，進(jìn)行了比較。

這里，通過訓(xùn)練兩個(gè)模型，以及解碼器，每個(gè)模型訓(xùn)練700k步。

它們在一個(gè)由5個(gè)關(guān)卡組成的2048條人類游戲軌跡的數(shù)據(jù)集上，進(jìn)行評估。

而且，研究人員比較了在64幀真實(shí)歷史上下文條件下，生成的第一幀，以及經(jīng)過3秒自回歸生成后的幀。

總得來說，研究觀察到，在隨機(jī)軌跡上訓(xùn)練模型效果出乎意料地好，但受限于隨機(jī)策略的探索能力。

而在比較單幀生成時(shí)，智能體僅略勝一籌，達(dá)到25.06 PNSR，而隨機(jī)策略為24.42。

而在比較3秒情況下，差異增加到19.02 Vs 16.84。

在手動(dòng)操作模型時(shí)，他們還觀察到，某些區(qū)域?qū)烧叨挤浅Ｈ菀?，某些區(qū)域?qū)烧叨挤浅＠щy，而在某些區(qū)域智能體表現(xiàn)更好。

因此，作者根據(jù)其在游戲中與起始位置的距離，將456個(gè)示例手動(dòng)分為三個(gè)級(jí)別：簡單、中等和困難。

如下表2所示，結(jié)果觀察到，在簡單和困難集合中，智能體僅略優(yōu)于隨機(jī)，而在中等集合中，智能體的優(yōu)勢如預(yù)期般更大。

0代碼生成游戲，老黃預(yù)言成真

今天，視頻游戲，是由人類編程的。

GameNGen的誕生，開啟了實(shí)時(shí)互動(dòng)視頻游戲的全新范式。

在這一范式中，游戲是神經(jīng)模型的「權(quán)重」，而非代碼行。

如今看來，老黃的預(yù)言近在眼前。

每個(gè)像素很快都將會(huì)是生成的，并非是渲染的。

在今年GTC大會(huì)的記者會(huì)上，Bilawal Sidhu就老黃的話，提出了一個(gè)后續(xù)問題：「我們距每個(gè)像素都是以實(shí)時(shí)幀速率生成的世界還有多遠(yuǎn)」？

老黃表示，我們還需要5-8年的時(shí)間，并且現(xiàn)已看到了跨越創(chuàng)新S曲線的跡象。

它表明，當(dāng)前存在一種架構(gòu)和模型權(quán)重，可以讓神經(jīng)網(wǎng)絡(luò)能夠在現(xiàn)有GPU上，有效交互運(yùn)行復(fù)雜游戲DOOM。

不過，GameNGen仍有許多重要的問題存在，這也是谷歌開發(fā)者接下來繼續(xù)攻克的問題。

Shlomi Fruchter帶領(lǐng)團(tuán)隊(duì)開辟了游戲制作的另一片天地，并希望這個(gè)范式能為前路指明方向。

在這種新范式下，能夠直接拉低視頻游戲的開發(fā)成本，并讓更多人得到訪問。

僅需一句話，或者是一個(gè)示例圖像，未來可任何一個(gè)開發(fā)者，皆可以對游戲進(jìn)行開發(fā)和編輯。

另外，為現(xiàn)有游戲創(chuàng)建/修改行為，可能在短期就能實(shí)現(xiàn)了。

比如，我們可以將一組幀，轉(zhuǎn)化為一個(gè)全新可玩的關(guān)卡，或者僅基于示例圖像創(chuàng)建一個(gè)新角色，無需編寫代碼。

新范式的好處，或許還能保持足夠優(yōu)秀的幀率，和極少的內(nèi)存占用。

正如論文作者所述，他們希望這小小一步的嘗試，能夠?qū)θ藗冇螒蝮w驗(yàn)，甚至更廣泛地對日常交互軟件系統(tǒng)的互動(dòng)，帶來有極大價(jià)值的改善。

從游戲到自動(dòng)駕駛汽車，令人興奮的可能性

更令人興奮的是，GameNGen的潛在應(yīng)用，遠(yuǎn)遠(yuǎn)超出了游戲領(lǐng)域！

無論是虛擬現(xiàn)實(shí)、自動(dòng)駕駛汽車還是智能城市行業(yè)，都可能因此而變革。

因?yàn)樵谶@些行業(yè)中，實(shí)時(shí)模擬對于培訓(xùn)、測試和運(yùn)營管理都至關(guān)重要。

比如在自動(dòng)駕駛汽車中，需要能夠模擬無數(shù)的駕駛場景，以安全地在復(fù)雜的環(huán)境中行駛。

而GameNGen這類AI驅(qū)動(dòng)引擎，恰恰可以通過高保真度和實(shí)時(shí)處理來執(zhí)行這項(xiàng)任務(wù)。

在VR和AR領(lǐng)域，AI引擎可以創(chuàng)建完全沉浸式的交互式世界，還能實(shí)時(shí)適應(yīng)用戶輸入。

這種交互式模擬產(chǎn)生的巨大吸引力，可能會(huì)徹底改變教育、醫(yī)療保健和遠(yuǎn)程工作等行業(yè)！

當(dāng)然，GameNGen也存在一些挑戰(zhàn)。

雖然它可以以交互速度運(yùn)行《毀滅戰(zhàn)士》，但圖形密集程度更高的游戲，可能會(huì)需要更大的算力。

另外，它是針對特定游戲量身定制的，因此要開發(fā)能運(yùn)行多個(gè)游戲的通用AI游戲引擎，挑戰(zhàn)仍然艱巨。

但現(xiàn)在，我們儼然已至未來的風(fēng)口浪尖，從此，我們最喜歡的游戲不是從代碼行中誕生，而是從機(jī)器的無限創(chuàng)造力中誕生。

從此，人類創(chuàng)造力和機(jī)器智能之間的界限會(huì)越來越模糊。

通過GameNGen，谷歌研究人員讓我們對未來有了令人興奮的一瞥——

在這個(gè)世界中，阻礙我們虛擬體驗(yàn)的唯一限制，就是AI的想象力。