NVIDIA今日宣布其AI推理平臺(tái)的重大更新，目前Capital One、Microsoft、Samsung Medison、Siemens Energy、Snap等25000多家客戶都在使用該平臺(tái)。

　　這些更新包括開源NVIDIA Triton推理服務(wù)器軟件的新功能，該軟件為所有AI模型和框架提供跨平臺(tái)推理; 同時(shí)也包含對(duì)NVIDIA TensorRT的更新，該軟件優(yōu)化AI模型并為NVIDIA GPU上的高性能推理提供運(yùn)行時(shí)優(yōu)化。

　　NVIDIA還推出了NVIDIA A2 Tensor Core GPU，這是一款用于邊緣AI推理的低功耗、小尺寸的加速器，其推理性能比CPU高出20倍。

　　NVIDIA副總裁兼加速計(jì)算總經(jīng)理Ian Buck表示："NVIDIA AI推理平臺(tái)正在推動(dòng)各行各業(yè)的突破，包括醫(yī)療健康、金融服務(wù)、零售、制造和超級(jí)計(jì)算。無論是提供更智能的建議，發(fā)揮對(duì)話式AI的力量，還是推進(jìn)科學(xué)發(fā)現(xiàn)，NVIDIA推理平臺(tái)都能以簡(jiǎn)單易用的方式提供低延遲、高吞吐及多種性能組合的服務(wù)，為全球關(guān)鍵的AI新應(yīng)用賦能。"

[[434585]]

　　關(guān)鍵的軟件優(yōu)化

　　Triton 推理服務(wù)器的主要更新包括：

　　● Triton 模型分析器 – 這款新工具可以自動(dòng)化地從數(shù)百種組合中為 AI 模型選擇最佳配置，以實(shí)現(xiàn)最優(yōu)性能，同時(shí)確保應(yīng)用程序所需的服務(wù)質(zhì)量。

　　● 多 GPU 多節(jié)點(diǎn)功能 – 這一新功能支持基于Transformer的大規(guī)模語言模型，例如 Megatron 530B，在多個(gè)GPU和服務(wù)器節(jié)點(diǎn)上運(yùn)行并提供實(shí)時(shí)推理性能，而不是在單個(gè)GPU上運(yùn)行。

　　● RAPIDS FIL – 這一針對(duì)隨機(jī)森林和梯度提升決策樹模型 GPU 或 CPU 推理的新后端為開發(fā)者使用 Triton 進(jìn)行深度學(xué)習(xí)和傳統(tǒng)機(jī)器學(xué)習(xí)提供了一個(gè)統(tǒng)一的部署引擎。

　　● Amazon SageMaker 集成 – 這種無縫集成讓客戶能夠在 SageMaker(AWS 完全托管的 AI 服務(wù))中使用 Triton 輕松部署多框架的模型，并實(shí)現(xiàn)高推理性能。

　　● 支持 Arm CPU – 除了 NVIDIA GPU 和 x86 CPU 外，Triton 后端現(xiàn)在還支持在 Arm CPU 上優(yōu)化 AI 推理工作負(fù)載。

　　Triton 支持在云、數(shù)據(jù)中心、企業(yè)邊緣和嵌入式設(shè)備等環(huán)境中對(duì) GPU 和 CPU 進(jìn)行 AI 推理，并與 AWS、Google Cloud、Microsoft Azure、阿里云PAI-EAS 等平臺(tái)集成。此外，NVIDIA AI Enterprise 也集成了 Triton。

　　NVIDIA AI Enterprise 是一款經(jīng) NVIDIA 優(yōu)化、認(rèn)證和支持的用于開發(fā)和部署 AI 的端到端軟件套件，客戶可利用它在本地?cái)?shù)據(jù)中心和私有云的 主流服務(wù)器上運(yùn)行 AI 工作負(fù)載。

　　除了 Triton 外，TensorRT 現(xiàn)在還與TensorFlow和PyTorch集成，只需一行代碼就能提供比框架內(nèi)推理快3倍的性能。這使得開發(fā)人員采用極為簡(jiǎn)化的工作流程就可以體會(huì)TensorRT的強(qiáng)大功能。

　　NVIDIA TensorRT 8.2 是SDK的最新版本，可加速高性能的深度學(xué)習(xí)推理，在云端、本地或邊緣提供高吞吐和低延遲。有了最新的性能優(yōu)化，數(shù)十億個(gè)參數(shù)的語言模型可實(shí)現(xiàn)實(shí)時(shí)運(yùn)行。

　　行業(yè)領(lǐng)導(dǎo)者支持 NVIDIA AI 平臺(tái)推理

　　Microsoft Azure 認(rèn)知服務(wù)為高品質(zhì) AI 模型提供基于云的 API，以創(chuàng)建智能應(yīng)用程序。他們正在使用Triton 運(yùn)行語音轉(zhuǎn)文本模型，為 Microsoft Teams 用戶提供準(zhǔn)確的實(shí)時(shí)字幕和轉(zhuǎn)錄。

　　“Microsoft Teams 是全球溝通和協(xié)作的重要工具，每月有近 2.5 億活躍用戶，”Microsoft 團(tuán)隊(duì)呼叫、會(huì)議和設(shè)備部首席 PM 經(jīng)理 Shalendra Chhabra 表示。“這樣的 AI 模型極其復(fù)雜，需要數(shù)千萬個(gè)神經(jīng)網(wǎng)絡(luò)參數(shù)才能在幾十種不同的語言中提供準(zhǔn)確的結(jié)果。模型越大，就越難以經(jīng)濟(jì)高效地實(shí)時(shí)運(yùn)行。Microsoft Azure 認(rèn)知服務(wù)上的 NVIDIA GPU 和 Triton 推理服務(wù)器使用 28 種語言和方言，通過 AI 近乎實(shí)時(shí)地幫助改進(jìn)實(shí)時(shí)字幕和轉(zhuǎn)錄功能。”Microsoft Azure 認(rèn)知服務(wù)上的 NVIDIA GPU 和 Triton 推理服務(wù)器，結(jié)合AI模型，幫助提升了涉及28 種語言和方言的實(shí)時(shí)字幕和轉(zhuǎn)錄功能的成本效益。

　　Samsung Medison 是三星電子旗下一家全球醫(yī)療設(shè)備公司。該公司正利用 NVIDIA TensorRT 通過智能輔助功能來為其超聲波系統(tǒng)提供增強(qiáng)的更優(yōu)質(zhì)的醫(yī)療影像。Samsung Medison 致力于通過提高患者的舒適度、減少掃描時(shí)間、簡(jiǎn)化工作流程并最終提高系統(tǒng)吞吐量來改善患者和醫(yī)療健康領(lǐng)域?qū)I(yè)人員的生活。

　　“在新款 V8 高端超聲波系統(tǒng)中應(yīng)用 NVIDIA TensorRT 后，我們能夠在查看和診斷圖像時(shí)更好地為醫(yī)學(xué)專家提供支持，”Samsung Medison 副總裁、客戶體驗(yàn)團(tuán)隊(duì)主管 Won-Chul Bang 表示。“我們正在積極地將基于 AI 的技術(shù)引入我們的超聲波系統(tǒng)，以便為醫(yī)療專業(yè)人員提供更好的支持，使他們能夠?qū)Ｗ⒂诨颊咴\斷和治療等更重要的領(lǐng)域。”

　　Siemens Energy是一家擁有領(lǐng)先能源技術(shù)解決方案的能源專營(yíng)公司，該公司正利用 Triton 通過 AI 來幫助其發(fā)電廠客戶管理相關(guān)設(shè)施。

　　“高度復(fù)雜的發(fā)電廠通常會(huì)配備攝像頭和傳感器，但采用的卻是傳統(tǒng)軟件系統(tǒng)，NVIDIA Triton 推理服務(wù)器出色的靈活性能夠讓這些發(fā)電廠加入自主工業(yè)革命，” Siemens Energy自主運(yùn)營(yíng)部投資組合經(jīng)理 Arik Ott 表示。

　　Snap是一家全球性攝影軟件和社交媒體公司，其主要產(chǎn)品和服務(wù)包括Snapchat、Spectacles和Bitmoji等。Snap正在使用NVIDIA技術(shù)來提高商業(yè)變現(xiàn)能力和降低成本。

　　"Snap使用NVIDIA GPU和TensorRT將機(jī)器學(xué)習(xí)推理的成本效率提高了50%，并將服務(wù)延遲降低了2倍，“Snap公司策劃與商業(yè)變現(xiàn)部門工程副總裁Nima Khajehnouri表示。"這為我們提供了計(jì)算資源，以實(shí)踐和部署更大型、更準(zhǔn)確的廣告和內(nèi)容排名模型。"

　　NVIDIA面向推理的 AI 平臺(tái)包括了新的 NVIDIA 認(rèn)證系統(tǒng),全新A2 GPU

　　NVIDIA 認(rèn)證系統(tǒng)可以幫助客戶在高性能、經(jīng)濟(jì)高效且可擴(kuò)展的基礎(chǔ)設(shè)施上為各種現(xiàn)代 AI 應(yīng)用識(shí)別、獲取和部署系統(tǒng)，該認(rèn)證系統(tǒng)現(xiàn)在包含兩個(gè)新的邊緣AI類別。

　　擴(kuò)展的類別允許 NVIDIA 系統(tǒng)的合作伙伴為客戶提供完整系列的由基于 NVIDIA Ampere 架構(gòu)的 GPU 支持的 NVIDIA 認(rèn)證系統(tǒng)，來處理各種實(shí)際工作負(fù)載。新的 NVIDIA A2 GPU 也包含在內(nèi)，它是一個(gè)入門級(jí)、低功耗的緊湊型加速器，適用于邊緣服務(wù)器中的推理和邊緣 AI。 NVIDIA A2與適用于主流企業(yè)服務(wù)器的 NVIDIA A30 、適用高性能 AI 服務(wù)器的 NVIDIA A100 一起，為邊緣、數(shù)據(jù)中心和云端的 AI 推理提供了完整的方案。

　　Atos、戴爾科技、技嘉、慧與、浪潮、聯(lián)想和 Supermicro 等全球領(lǐng)先的企業(yè)系統(tǒng)供應(yīng)商，其AI系統(tǒng)產(chǎn)品線均支持在 NVIDIA 認(rèn)證系統(tǒng)上使用 NVIDIA AI Enterprise。

　　其他系統(tǒng)提供商，如研華科技、ASRock Rack、華碩、寧暢、新華三 和 QCT 也為各種工作負(fù)載提供了 NVIDIA 認(rèn)證系統(tǒng)。包括 研華科技、技嘉和聯(lián)想在內(nèi)的領(lǐng)先供應(yīng)商將很快推出首款通過新邊緣類別認(rèn)證的 NVIDIA 認(rèn)證系統(tǒng)。

　　供貨情況

　　Triton 通過 NVIDIA NGC 目錄提供。NVIDIA NGC是針對(duì) GPU 優(yōu)化的 AI 軟件中心，包括框架、工具包、預(yù)訓(xùn)練模型和 Jupyter Notebooks。Triton源代碼可從 Triton GitHub 資源庫(kù)獲取。

　　NVIDIA 開發(fā)者計(jì)劃成員可通過 TensorRT 頁面獲取 TensorRT。最新版本的插件、解析器和示例也以開源形式提供，可從 TensorRT GitHub 資源庫(kù)獲取。

　　客戶可以通過今日獨(dú)家發(fā)布的 NVIDIA LaunchPad中的全球精選實(shí)驗(yàn)室，在 NVIDIA AI Enterprise 軟件套件中體驗(yàn) NVIDIA Triton。

　　NVIDIA AI Enterprise 軟件套件可通過全球 NVIDIA 渠道合作伙伴獲取，包括 Atea、Axians、Carahsoft Technology Corp.、Computacenter、Insight Enterprises、Presidio、Sirius、SoftServe、SVA System Vertrieb Alexander GmbH、TD SYNNEX、Trace3 和 WWT。