在數(shù)字時(shí)代的今天，AI正在驅(qū)動(dòng)新一輪的產(chǎn)業(yè)變革。在倍受關(guān)注的SIGGRAPH 2024上，NVIDIA黃仁勛認(rèn)為，AI很快將能和人一樣做決策。他表示，除了目前的語(yǔ)言模型外，人工智能還將擁有物理世界模型，應(yīng)該研究如何通過(guò)視覺(jué)訓(xùn)練教會(huì)機(jī)器認(rèn)知物理世界。機(jī)器人技術(shù)將不再是一個(gè)遙不可及的概念，而是日益融入人類的日常生活。

為了加速推動(dòng)AI在不同行業(yè)的不同場(chǎng)景中落地，簡(jiǎn)化開(kāi)發(fā)流程，NVIDIA發(fā)布適用于OpenUSD語(yǔ)言、幾何體、物理學(xué)和材質(zhì)的生成式AI模型與NIM微服務(wù)。新的服務(wù)將加速基于通用場(chǎng)景描述的工作流以及工業(yè)數(shù)字孿生和機(jī)器人的開(kāi)發(fā)。

全新發(fā)布的OpenUSD助推AI創(chuàng)新應(yīng)用

本次NVIDIA全新發(fā)布的通用場(chǎng)景描述（OpenUSD），將進(jìn)一步擴(kuò)大這一通用3D數(shù)據(jù)交換框架在機(jī)器人、工業(yè)設(shè)計(jì)和工程領(lǐng)域的應(yīng)用，提高開(kāi)發(fā)者為AI新一輪發(fā)展構(gòu)建高精度虛擬世界的能力。

通過(guò)基于OpenUSD的全新生成式AI，以及在NVIDIA Omniverse平臺(tái)構(gòu)建的 NVIDIA 加速的開(kāi)發(fā)框架，越來(lái)越多的行業(yè)現(xiàn)在能夠開(kāi)發(fā)出用于可視化工業(yè)設(shè)計(jì)和工程項(xiàng)目的應(yīng)用，以及用于構(gòu)建新一代物理AI和機(jī)器人的環(huán)境仿真的應(yīng)用。

新推出的內(nèi)容包括適用于AI模型的NVIDIA NIM?微服務(wù)，這些微服務(wù)可生成回答用戶查詢的OpenUSD語(yǔ)言、生成OpenUSD Python代碼、將材質(zhì)應(yīng)用于3D物體、理解3D空間和物理學(xué)以幫助加快數(shù)字孿生的開(kāi)發(fā)等。其他還包括可用于機(jī)器人和工業(yè)仿真數(shù)據(jù)格式的全新USD連接器，以及各種開(kāi)發(fā)者工具，用戶可通過(guò)它們將海量NVIDIA RTX?全光線追蹤數(shù)據(jù)集傳輸?shù)紸pple Vision Pro。

NVIDIA Omniverse與仿真技術(shù)副總裁Rev Lebaredian表示：“重工業(yè)的生成式AI潮已經(jīng)到來(lái)。直到最近，數(shù)字世界的主要用戶還是創(chuàng)意行業(yè)；而現(xiàn)在，借助NVIDIA NIM微服務(wù)為OpenUSD帶來(lái)的增強(qiáng)功能和可訪問(wèn)性，各個(gè)行業(yè)都可以創(chuàng)建基于物理學(xué)的虛擬世界和數(shù)字孿生，在加快創(chuàng)新的同時(shí)，為機(jī)器人這次新一輪AI技術(shù)熱潮做好準(zhǔn)備。”

通過(guò)NVIDIA NIM將生成式AI應(yīng)用于USD

NVIDIA開(kāi)發(fā)的用于OpenUSD開(kāi)發(fā)的生成式AI模型將以NVIDIA NIM微服務(wù)的形式提供。借助這些模型，開(kāi)發(fā)者能夠?qū)⑸墒紸I copilot和智能體整合到USD工作流中，拓寬3D世界的可能性，幫助加快USD在制造業(yè)、汽車行業(yè)和機(jī)器人等新工業(yè)領(lǐng)域的應(yīng)用。

預(yù)覽版中的微服務(wù)包括：

USD Code NIM微服務(wù)：回答常識(shí)性O(shè)penUSD問(wèn)題，并基于文本提示自動(dòng)生成 OpenUSD-Python代碼，然后將其輸入到OpenUSD查看應(yīng)用程序（例如皮克斯的USDView）或基于NVIDIA Omniverse Kit的應(yīng)用，以實(shí)現(xiàn)相應(yīng)3D數(shù)據(jù)的可視化。

USD Search NIM微服務(wù)：使開(kāi)發(fā)者能夠使用自然語(yǔ)言或圖像輸入，在海量OpenUSD、3D和圖像數(shù)據(jù)庫(kù)中進(jìn)行搜索。

USD Validate NIM微服務(wù)：檢查上傳文件與OpenUSD發(fā)布版本的兼容性，并生成完全由NVIDIA Omniverse Cloud API（應(yīng)用編程接口）驅(qū)動(dòng)的RTX渲染路徑追蹤圖像。

即將提供的新微服務(wù)包括：

USD Layout NIM微服務(wù)：使用戶能夠基于空間智能，根據(jù)一系列文本提示組裝出基于 OpenUSD的場(chǎng)景。

USD SmartMaterial NIM微服務(wù)：預(yù)測(cè)并將逼真的材料應(yīng)用于計(jì)算機(jī)輔助設(shè)計(jì)對(duì)象。

fVDB Mesh Generation NIM微服務(wù)：根據(jù)點(diǎn)云數(shù)據(jù)生成基于OpenUSD的網(wǎng)絡(luò)，并通過(guò) Omniverse Cloud API進(jìn)行渲染。

fVDB Physics Super-Res NIM微服務(wù)：對(duì)幀或幀序列執(zhí)行AI超分辨率 ，生成基于OpenUSD的高分辨率物理仿真。

fVDB NeRF-XL NIM微服務(wù)：使用 Omniverse Cloud API 在 OpenUSD中生成大規(guī)模神經(jīng)輻射場(chǎng)。

Foxconn在全球擁有 170 多家工廠，受益于NVIDIA的計(jì)算平臺(tái)，利用 NIM 微服務(wù)和 Omniverse 為一家正在開(kāi)發(fā)中的工廠創(chuàng)建了數(shù)字孿生。

Foxconn史喆表示：“數(shù)字孿生將幫助我們加速新一波工業(yè)制造和自主機(jī)器的發(fā)展。NVIDIA Omniverse 和全新的 NIM 微服務(wù)將使數(shù)字孿生的開(kāi)發(fā)變得更加普及，并幫助我們的團(tuán)隊(duì)以前所未有的速度構(gòu)建基于物理的虛擬工廠?！?/p>

WPP是USD Search和USD Code NIM微服務(wù)的早期用戶之一。該公司將這些微服務(wù)用于其基于NVIDIA Omniverse構(gòu)建的生成式AI內(nèi)容創(chuàng)建管線中，為可口可樂(lè)公司等客戶提供服務(wù)。

WPP Stephan Pretorius表示：“這些創(chuàng)新的美妙之處在于它與我們的工作方式高度兼容，并充分利用了開(kāi)放標(biāo)準(zhǔn)。這不僅加速了未來(lái)的工作，而且使我們能夠繼續(xù)鞏固和擴(kuò)展我們之前在OpenUSD等標(biāo)準(zhǔn)上的所有投資。通過(guò)使用NVIDIA NIM微服務(wù)與NVIDIA Omniverse，我們能夠以前所未有的速度與可口可樂(lè)公司等企業(yè)聯(lián)合推出創(chuàng)新的新生產(chǎn)工具。”

USD連接器為更多行業(yè)帶來(lái)生成式AI

去年，NVIDIA與皮克斯、Adobe、蘋果和Autodesk 共同創(chuàng)立了OpenUSD聯(lián)盟，并通過(guò)OpenUSD聯(lián)盟與其他伙伴一起發(fā)布了 OpenUSD 的新版本、OpenUSD 核心規(guī)范的進(jìn)展以及新成員的加入情況。

現(xiàn)在，多款適用于機(jī)器人數(shù)據(jù)格式和Apple Vision Pro流式傳輸?shù)娜耈SD連接器將為更多行業(yè)帶來(lái) OpenUSD互操作性與高級(jí)創(chuàng)作能力。

為幫助更多使用 OpenUSD的工業(yè)工作負(fù)載，NVIDIA與全球工業(yè)自動(dòng)化和軟件商西門子正在擴(kuò)大合作。西門子將把OpenUSD 流水線與其Simcenter仿真技術(shù)組合集成，以支持基于證據(jù)的決策和關(guān)鍵利益相關(guān)方之間的協(xié)作。

該集成可實(shí)現(xiàn)復(fù)雜仿真數(shù)據(jù)的高保真、實(shí)時(shí)、逼真可視化，讓企業(yè)能夠更加深入地了解產(chǎn)品在實(shí)際操作環(huán)境中的性能。西門子將把Omniverse納入到其Teamcenter 產(chǎn)品生命周期管理軟件組合中，為這項(xiàng)工作打好基礎(chǔ)。

NVIDIA還發(fā)布了一個(gè)從統(tǒng)一機(jī)器人描述格式（Unified Robotics Description Format）到OpenUSD的連接器，讓機(jī)器人專家能夠?qū)⑺麄兊臋C(jī)器人數(shù)據(jù)無(wú)縫導(dǎo)入到用于設(shè)計(jì)、仿真和強(qiáng)化學(xué)習(xí)等用途的各種應(yīng)用中。

為了進(jìn)一步推動(dòng)OpenUSD生態(tài)系統(tǒng)的擴(kuò)張，NVIDIA發(fā)布了OpenUSD Exchange軟件開(kāi)發(fā)套件，幫助開(kāi)發(fā)者創(chuàng)建出自己的強(qiáng)大OpenUSD數(shù)據(jù)連接器。

新的開(kāi)發(fā)者工具和API可通過(guò)NVIDIA Graphics Delivery Network（GDN），將大規(guī)模OpenUSD場(chǎng)景從基于Omniverse平臺(tái)構(gòu)建的應(yīng)用流式傳輸?shù)?Apple Vision Pro。目前，這些新工具和API提供搶先體驗(yàn)版本。

皮克斯 Steve May 表示：“OpenUSD 正在徹底改變我們創(chuàng)建3D內(nèi)容并與之互動(dòng)的方式。現(xiàn)在，借助NVIDIA為OpenUSD打造的這些新服務(wù)和API，我們有望看到USD以更快的速度增長(zhǎng)和普及，這將為新用戶和行業(yè)更輕松地參與我們的生態(tài)系統(tǒng)鋪平道路?！?/p>

目前，NVIDIA API目錄現(xiàn)在提供USD Search、USD Code 和 USD Validate NIM微服務(wù)的預(yù)覽版。OpenUSD - URDF連接器現(xiàn)已與 NVIDIA Isaac Sim?一起提供。

開(kāi)發(fā)者可以使用全新Omniverse開(kāi)發(fā)者工具和參考工作流，將生成式AI集成到OpenUSD工作流中，使用OpenUSD構(gòu)建生成式AI賦能的合成數(shù)據(jù)管線。

開(kāi)源推動(dòng)AI未來(lái)創(chuàng)新

剛剛發(fā)布不久的Llama 3.1系列大模型，性能有了很大的提升。根據(jù)官方數(shù)據(jù)顯示，在150多個(gè)基準(zhǔn)測(cè)試集中，405B版本的表現(xiàn)追平甚至超越了現(xiàn)有SOTA模型GPT-4o和Claude 3.5 Sonnet。作為支持開(kāi)源AI的模型，Llama 3.1提供高級(jí)功能，并優(yōu)化訓(xùn)練棧和推理能力，并支持開(kāi)源和廣泛生態(tài)合作。

在備受期待的 SIGGRAPH 2024 爐邊談話中，NVIDIA黃仁勛和 Meta馬克·扎克伯格探討了開(kāi)源 Al和 AI助手的變革潛力。

扎克伯格強(qiáng)調(diào)了開(kāi)源在推動(dòng) A1發(fā)展中的重要性。他表示，過(guò)去，推動(dòng)所有改進(jìn)的要素之一是每種類型的內(nèi)容都有不同的模型?，F(xiàn)在，隨著模型變得更大、更通用，這種情況正在不斷改善。

據(jù)了解，Llama 3.1開(kāi)源模型花費(fèi)了大量時(shí)間和訓(xùn)練資源投入。 Llama 版本擁有 4050 億個(gè)參數(shù)，使用 16000 多個(gè) NVIDIA H100 GPU 進(jìn)行了訓(xùn)練。

黃仁勛則表示， Blackwell架構(gòu)是英偉達(dá)今年發(fā)布的新款芯片架構(gòu)，也是兩年前推出的Hopper架構(gòu)的繼承者。相比Hopper架構(gòu)GPU，Blackwell架構(gòu)GPU單芯片訓(xùn)練性能是Hopper架構(gòu)的2.5倍，推理性能是Hopper架構(gòu)的5倍。

談到AI未來(lái)的發(fā)展趨勢(shì)，黃仁勛強(qiáng)調(diào)了與 AI的交互如何變得更加流暢，而不僅僅是基于文本交互。他表示，今天的 AI 有點(diǎn)類似一來(lái)一回的模式。你說(shuō)一句，它回你一句。未來(lái)的 AI將會(huì)考慮多個(gè)選項(xiàng)，生成一個(gè)選項(xiàng)樹(shù)，并模擬結(jié)果，從而使其更強(qiáng)大。

點(diǎn)擊觀看NVIDIA CEO 黃仁勛的爐邊談話。

寫在最后：

在推動(dòng)人工智能發(fā)展的道路上，NVIDIA始終站在行業(yè)的前列。無(wú)論是剛剛發(fā)布OpenUSD語(yǔ)言、幾何體、物理學(xué)和材質(zhì)的生成式AI模型與NIM微服務(wù)，還是在今年初發(fā)布的Blackwell架構(gòu)，NVIDIA一直在不斷的用新技術(shù)、新產(chǎn)品和新服務(wù)，推動(dòng)著AI的高速創(chuàng)新發(fā)展，用實(shí)際行動(dòng)加速AI在千行百業(yè)的落地應(yīng)用，