作為英偉達GPU技術(shù)大會上的絕對明星，今年英偉達為我們帶來了 “Blackwell”數(shù)據(jù)中心GPU硬件，即將在2025年新平臺中擔當基石角色的“Grace”CPU、NVLink Switch 5芯片、Bluefield-3 DPU以及更多其他組件。而在本周的Hot Chips 2024大會上，英偉達再次對新一波硬件組合做出了詳盡介紹。

很多朋友可能還不熟悉英偉達的NIM策略，即強調(diào)幫助開發(fā)人員更輕松、更快捷地創(chuàng)建AI應(yīng)用程序。雖然會上也有討論英偉達推理微服務(wù)的聲音，但面對Blackwell這樣的重量級新成果，沒有任何其他議題能夠真正奪走它的風頭。

但也必須承認，NIM策略對于英偉達通過聊天機器人等生成式AI工具幫助用戶開發(fā)AI軟件的整體計劃有著至關(guān)重要的作用。英偉達方面表示，NIM提供了軟件工程師所需要的一切，其被安置在類似容器的環(huán)境當中，并以預(yù)構(gòu)建的微服務(wù)形式交付，可被部署在云端、數(shù)據(jù)中心乃至工作站等系統(tǒng)之上。在Kubernetes之上構(gòu)建的NIM容器將囊括開源大語言模型、云原生技術(shù)棧、英偉達TensorRT及TensorRT-LLM、其Triton推理服務(wù)器與標準API等等，將成為英偉達AI

Enterprise整體戰(zhàn)略中的關(guān)鍵組成部分。

根據(jù)英偉達企業(yè)AI軟件產(chǎn)品副總裁Justin Boitano所言，NIM是所謂第二波生成式AI技術(shù)藍圖的一部分。這股新趨勢將發(fā)生在企業(yè)當中，使得企業(yè)能夠利用自有知識來經(jīng)營業(yè)務(wù)、與客戶交互并加快創(chuàng)新節(jié)奏。此前的第一波浪潮，是由OpenAI于2022年11月下旬推出ChatGPT之后激發(fā)的市場熱情所推動、并由基礎(chǔ)模型開發(fā)者引領(lǐng)，主要探索如何將生成式AI融入互聯(lián)網(wǎng)服務(wù)，從而通過撰寫語言和代碼來提高個人生產(chǎn)力水平。

Boitano在本周于加利福尼亞州召開的Hot Chips展會的會前簡報中向記者和分析師們強調(diào)，在這新一波浪潮當中，“生成式AI技術(shù)將幫助團隊推理復(fù)雜的業(yè)務(wù)流程與供應(yīng)鏈依賴關(guān)系，以前所未有的速度將新產(chǎn)品和服務(wù)推向市場。這波浪潮的開端實際上源自Meta Platforms的Llama 3.1等開放模型的發(fā)布。這些模型代表著驚人的AI技術(shù)進步，將企業(yè)的智能化水平提升到了新的層面，而幾年之前大多數(shù)人還無法想象能夠?qū)⑦@些模型運行在數(shù)據(jù)中心之內(nèi)?！?/p>

他同時提到，NIM的建立是為了實現(xiàn)對這些模型的大規(guī)模、生產(chǎn)級安全運行，并補充稱英偉達目前正在與一系列AI模型構(gòu)建組織合作，利用NIM使其模型在性能與運行時效率方面更上一層樓。

Boitano介紹稱，“這些NIM提供了性能優(yōu)化，使得token吞吐效率比其他解決方案快2到5倍。因此企業(yè)在英偉達系統(tǒng)上運行生成式AI時，可獲得更好的總體擁有成本。另外通過與社區(qū)模型構(gòu)建者、專有模型構(gòu)建商以及我們自己的模型所共同構(gòu)成的生態(tài)系統(tǒng)合作，英偉達能夠確保任何業(yè)務(wù)下的任何模式間均可無縫協(xié)作，從而為使用英偉達AI Enterprise的客戶提供最佳token處理效率?！?/p>

在Hot Chips上，英偉達正通過NIM邁出新的一步，為想要創(chuàng)建自定義生成式AI應(yīng)用程序的開發(fā)者們提供NIM Agent Blueprints。這一方案參考的是AI工作流，包括基于NIM及合作伙伴微服務(wù)的示例應(yīng)用程序、參考代碼、一份概述自定義機制與Helm圖表(用于具體解釋并打包Kubernetes集群資源的應(yīng)用程序文件)以實現(xiàn)應(yīng)用程序部署。開發(fā)人員還可以對此藍圖做出靈活修改。

Boitano解釋道，“這是一份不斷增長的參考應(yīng)用目錄，專為各類常見用例而創(chuàng)建，其中整合了英偉達與早期采用者在合作當中總結(jié)出的最佳實踐。英偉達NIM Blueprints是一種可運行的AI工作流，針對特定用例進行了預(yù)訓(xùn)練，而且任何開發(fā)人員都可靈活修改。這些藍圖將成為企業(yè)中各類最核心業(yè)務(wù)任務(wù)的執(zhí)行起點?！?/p>

除了加快模型部署之外，NIM Blueprints還屬于英偉達規(guī)劃的“數(shù)據(jù)飛輪”項目的一部分。這些藍圖能夠增強模型功能并實現(xiàn)模型定制，從而滿足組織中特定用例的實踐需求。Boitano表示在飛輪理念之下，當AI應(yīng)用程序運行并與用戶產(chǎn)生交互時，它們就會生成數(shù)據(jù)、將數(shù)據(jù)反饋至流程當中，最終用于在持續(xù)學(xué)習(xí)周期內(nèi)改進模型性能。

Boitano指出，“英偉達NeMo正是運行這套飛輪的引擎，英偉達AI Foundry則是運行NeMo飛輪的工廠。這些定制化生成式AI應(yīng)用程序?qū)椭髽I(yè)以更卓越、質(zhì)量更高的體驗吸引客戶和員工。”

他同時補充稱，“應(yīng)用程序的構(gòu)建過程實際上是從NIM開始的。但為了構(gòu)建數(shù)據(jù)飛輪，英偉達NeMo框架會介入其間以支持數(shù)據(jù)管理、模型定制和性能評估，并用于增強應(yīng)用程序以使其更好地融入生產(chǎn)流程。NeMo加快了生成式AI應(yīng)用程序整個開發(fā)生命周期當中的一切計算密集型階段。我們還擁有廣泛的合作伙伴生態(tài)系統(tǒng)，他們以NeMo和NIM為基礎(chǔ)，使得企業(yè)能夠輕松開發(fā)出自己的生成式AI應(yīng)用程序?！?/p>

自從最初的生成式AI熱潮以來，各類組織一直在討論如何將業(yè)務(wù)數(shù)據(jù)納入訓(xùn)練和推理組合，借此定制屬于自己的一套AI運作體系。而這方面需求最終催生出的成果，就是檢索增強生成(RAG)。

英偉達最初發(fā)布了三種場景的藍圖，分別是用于客戶體驗的數(shù)字人(即創(chuàng)建能夠與用戶交互的3D數(shù)字人)以實現(xiàn)多渠道交互并接入RAG系統(tǒng)。其二是用于企業(yè)RAG的多模態(tài)PDF數(shù)據(jù)提取?！捌髽I(yè)每年都會生成數(shù)萬億份PDF，這些PDF文件中包含多種數(shù)據(jù)類型，包括文本、圖像、圖表和表格。多模態(tài)PDF數(shù)據(jù)提取藍圖能夠幫助組織準確從海量業(yè)務(wù)數(shù)據(jù)中提取出所包含的知識，使得用戶通過聊天界面高效訪問這些數(shù)據(jù)，亦可快速將數(shù)字人轉(zhuǎn)化為任意主題方面的專家，幫助員工做出更明智、更迅捷的決策。”

最后一類應(yīng)用，則是加快藥物發(fā)現(xiàn)，即使用生成式AI模擬具備靶向性與可結(jié)合性的蛋白質(zhì)分子。

英偉達還攜手埃森哲、德勤、SoftServe、Quantiphi以及World Wide Technology共同參與開發(fā)NIM Agent Blueprints，同時力邀Dataiku和DataRobot參與模型的微調(diào)和監(jiān)控，協(xié)同LlamaIndex和Langchain建立工作流，配合Weights & Biases公司開展應(yīng)用程序評估，并與CrowdStrike、Datadog、Fiddler AI、New Relic和Trend Micro一道探索網(wǎng)絡(luò)安全之道。此外，Nutanix、紅帽和博通的企業(yè)級產(chǎn)品組合也將支持英偉達交付的藍圖。

這些藍圖還將運行在思科、戴爾科技、HPE以及聯(lián)想等OEM廠商的系統(tǒng)，以及亞馬遜云科技、Google Cloud微軟Azure以及甲骨文云基礎(chǔ)設(shè)施等超大規(guī)模系統(tǒng)之上。