SIGGRAPH大會(huì)上，老黃帶著自家元宇宙產(chǎn)品再次大放光彩。

黃仁勛介紹，英偉達(dá)在神經(jīng)圖形學(xué)、元宇宙、虛擬人（Avatars）推出的產(chǎn)品和研究，將成為引發(fā)圖形學(xué)的三大革命力量。

英偉達(dá)Omniverse ACE

8月9日，英偉達(dá)正式發(fā)布了一套基于云服務(wù)的AI模型——NVIDIA Omniverse Avatar Cloud Engine（ACE）。

英偉達(dá)副總裁Rev Lebaredian表示，ACE結(jié)合了相當(dāng)多復(fù)雜的人工智能技術(shù)，開發(fā)者不僅可以更容易地構(gòu)建和定制栩栩如生的虛擬助手，而且這些數(shù)字人甚至還有可能通過圖靈測(cè)試。

ACE建立在英偉達(dá)的統(tǒng)一計(jì)算框架之上，該框架提供了對(duì)豐富的軟件工具和API的訪問，從而利用高度逼真且可以進(jìn)行互動(dòng)的化身所需的各種技能。

這些工具包括用于開發(fā)語(yǔ)音AI應(yīng)用的Riva、用于計(jì)算機(jī)視覺和智能視頻分析的Metropolis、用于高性能推薦系統(tǒng)的Merli、用于自然語(yǔ)言理解的大型語(yǔ)言模型的NeMo Megatron，以及用于AI動(dòng)畫的Omniverse。

從骨架和肌肉開始構(gòu)建化身

Omniverse重大升級(jí)

自O(shè)mniverse發(fā)布以來(lái)，已經(jīng)有近20萬(wàn)次下載量。今天，英偉達(dá)發(fā)布了Omniverse的最新版本。

黃仁勛將Omniverse稱為「一個(gè)USD平臺(tái)」，「一個(gè)用于構(gòu)建元宇宙應(yīng)用程序的工具包」，以及「一個(gè)運(yùn)行虛擬世界的計(jì)算機(jī)引擎」。

最新的版本包含了幾個(gè)升級(jí)的核心技術(shù)，以及連接到更多到流行工具。

其中的升級(jí)就包括，物理加速引擎PhysX現(xiàn)在支持軟體和粒子布模擬，大幅提升虛擬世界物理準(zhǔn)確性。

開源的材質(zhì)定義語(yǔ)言（MDL）能夠模擬物理精確材料，并支持圖形API標(biāo)準(zhǔn)，如OpenGL或Vulkan。

Omniverse還將包括英偉達(dá)研究開發(fā)的結(jié)合RTX圖形和AI的神經(jīng)圖形功能，比如：

1. Animal Modelers 讓藝術(shù)家可以迭代動(dòng)物的形式與點(diǎn)云，然后自動(dòng)生成一個(gè)3D 網(wǎng)格
2. GauGAN下一個(gè)進(jìn)化版本：GauGAN360，可以生8K，360度全景圖
3. Instant NeRF：從2D圖像創(chuàng)建3D對(duì)象和場(chǎng)景

最新版本的Audio2Face，不僅可以完全根據(jù)聲音創(chuàng)建面部動(dòng)畫，而且還能隨著時(shí)間的推移引導(dǎo)化身的情緒。

也就是說，創(chuàng)作者可以輕松地融合關(guān)鍵情緒，如喜悅、驚奇、憤怒和悲傷。

在未來(lái)版本的Audio2Face中，開發(fā)者可以只用一張照片創(chuàng)建化身，自動(dòng)應(yīng)用紋理并生成可用于動(dòng)畫的3D網(wǎng)格。

利用高保真的肌肉運(yùn)動(dòng)模擬技術(shù)，AI可以通過觀看視頻學(xué)習(xí)ーー甚至是對(duì)虛擬梳理作出預(yù)期反應(yīng)的栩栩如生的頭發(fā)。

英偉達(dá)Vid2Vid Cameo可以利用人工智能從任何標(biāo)準(zhǔn)的2D視頻中捕捉人物的面部動(dòng)作和表情。

該模型基于生成性對(duì)抗網(wǎng)絡(luò)（GAN），映射面部運(yùn)動(dòng)以捕捉實(shí)時(shí)運(yùn)動(dòng)，并將該運(yùn)動(dòng)傳遞給虛擬角色。

這一神經(jīng)網(wǎng)絡(luò)進(jìn)行了18萬(wàn)段視頻的訓(xùn)練，學(xué)會(huì)了識(shí)別20個(gè)關(guān)鍵點(diǎn)來(lái)模擬面部運(yùn)動(dòng)ーー對(duì)眼睛、嘴巴、鼻子、眉毛等部位進(jìn)行編碼。

如下， 它可以將愛倫 · 坡《十四行詩(shī)》的表演轉(zhuǎn)移到藝術(shù)家Gary Kelley的人物肖像上。

另外，Omniverse擴(kuò)展機(jī)器學(xué)習(xí)框架Modulus，允許開發(fā)人員使用AI來(lái)加速現(xiàn)實(shí)世界物理模擬高10萬(wàn)倍，讓元宇宙看起來(lái)和感覺上都像物理世界。

全新神經(jīng)圖形SDK來(lái)了

要知道，元宇宙的一個(gè)重要支柱是神經(jīng)圖形學(xué)。

神經(jīng)圖形將人工智能和圖形交織在一起，為未來(lái)適合從數(shù)據(jù)中學(xué)習(xí)的繪圖管道鋪平了道路。神經(jīng)圖形將重新定義用戶如何創(chuàng)建、模擬和體驗(yàn)虛擬世界。

人工智能將幫助藝術(shù)家們創(chuàng)造出創(chuàng)造元宇宙所需的大量3D內(nèi)容。例如，他們可以使用神經(jīng)圖形來(lái)快速捕捉物理世界中的對(duì)象和行為。

在此，英偉達(dá)在今年推出的從2D圖像創(chuàng)建3D圖像的工具Instant NeRF便可以做到這點(diǎn)。同時(shí)，這篇論文還獲得了2022 SIGGRAPH的最佳論文獎(jiǎng)之一。

就比如，設(shè)計(jì)師和研究人員應(yīng)用神經(jīng)圖形和其他技術(shù)便創(chuàng)建了一個(gè)高嶺土小精靈（Kaolin Wisp），這是一套用幾行代碼就可以創(chuàng)建神經(jīng)場(chǎng)的工具。

除了Kaolin Wisp，英偉達(dá)還宣布了NeuralVDB，一個(gè)對(duì)行業(yè)標(biāo)準(zhǔn)OpenVDB的突破性升級(jí)，能夠加速實(shí)時(shí)渲染和模擬。

NeuralVDB使用神經(jīng)模型和GPU優(yōu)化可以顯著降低內(nèi)存占有率，這樣用戶就可以實(shí)時(shí)地與極其龐大和復(fù)雜的數(shù)據(jù)集進(jìn)行交互，并有效地共享它們。在SIGGRAPH特別演講中，黃仁勛還提到了，

「人工智能和計(jì)算機(jī)圖形學(xué)技術(shù)的結(jié)合將推動(dòng)元宇宙，即互聯(lián)網(wǎng)的下一次演變?！?/span>

它將成為連接虛擬世界和數(shù)字孿生世界的家園，一個(gè)既可以工作又可以玩耍的地方。而且，它將充滿活力，將成為最受歡迎的機(jī)器人形式之一：數(shù)字化人化身。

未來(lái)，我們將會(huì)有數(shù)十億的虛擬化身，我們與虛擬化身的互動(dòng)就像與另一個(gè)人交談一樣自由。

經(jīng)過Omniverse的設(shè)計(jì)、訓(xùn)練和操作，他們將在數(shù)字工廠工作，玩在線游戲，并為電子零售商提供客戶服務(wù)等等。

數(shù)字人類和虛擬化身需要自然語(yǔ)言處理、計(jì)算機(jī)視覺、復(fù)雜的面部和身體動(dòng)畫等等技術(shù)的加持。

為了讓其能夠與人類一樣自然地移動(dòng)和說話，可以說這套復(fù)雜的技術(shù)必須與毫秒同步。

英偉達(dá)的目標(biāo)就是簡(jiǎn)化和加速Omniverse阿凡達(dá)云引擎（ACE），這是一項(xiàng)艱巨的工作。