芯片巨頭英偉達(dá)，在AI時(shí)代一直被類比為在淘金熱中“賣鏟子”的背后贏家。

現(xiàn)在他不裝了，也要親自下場(chǎng)“挖金礦”：

配合最強(qiáng)開源大模型Llama3.1，推出NVIDIA AI Foundry和NVIDIA NIM推理微服務(wù)兩大新業(yè)務(wù)。

Foundry在芯片行業(yè)指“鑄造廠”，比如臺(tái)積電制造其他公司設(shè)計(jì)的芯片。

NVIDIA AI Foundry，代表英偉達(dá)可以定制化制造大模型了：

NVIDIA AI Foundry 提供從數(shù)據(jù)策管、合成數(shù)據(jù)生成、微調(diào)、檢索、防護(hù)到評(píng)估的全方位生成式AI模型服務(wù)。

NVIDIA NIM在年初的GTC大會(huì)上首次亮相，使用幾行代碼就可以在云、數(shù)據(jù)中心、工作站和PC上部署AI模型。

現(xiàn)在則又新加一個(gè)標(biāo)簽：將Llama 3.1模型部署到生產(chǎn)中的最快途徑，吞吐量最多可比不使用NIM運(yùn)行推理時(shí)高出2.5倍。

為什么在這個(gè)時(shí)間點(diǎn)出手？

黃仁勛表示：“Meta的Llama 3.1開源模型標(biāo)志著全球企業(yè)采用生成式 AI 的關(guān)鍵時(shí)刻已經(jīng)到來”。

企業(yè)可以將Llama 3.1 NIM 微服務(wù)與與全新NVIDIA NeMo Retriever NIM微服務(wù)組合使用，為AI copilot、助手和數(shù)字人虛擬形象搭建先進(jìn)的檢索工作流。

NVIDIA和Meta還一起為L(zhǎng)lama 3.1提供了一種提煉方法，供開發(fā)者為生成式AI應(yīng)用創(chuàng)建更小的自定義Llama 3.1模型。這使企業(yè)能夠在更多加速基礎(chǔ)設(shè)施（如 AI 工作站和筆記本電腦）上運(yùn)行由Llama驅(qū)動(dòng)的AI應(yīng)用。

之前老黃與小扎見面，交換皮衣穿，原來是商量這些合作去了（手動(dòng)狗頭）。

自定義模型+加速部署全流程服務(wù)

Llama 3.1系列模型發(fā)布還沒幾天，手快的企業(yè)已經(jīng)用在生產(chǎn)中了。

Aramco、AT&T和優(yōu)步，成為首批使用面向Llama 3.1全新NVIDIA NIM微服務(wù)的公司。

咨詢巨頭埃森哲更進(jìn)一步，借助NVIDIA AI Foundry為自己以及咨詢客戶創(chuàng)建自定義Llama 3.1 模型，

從自定義模型到加速部署，被英偉達(dá)打造進(jìn)了同一套流程。

企業(yè)自有數(shù)據(jù)，可使用NeMo Curator開源Python庫完成快速且可擴(kuò)展的數(shù)據(jù)集準(zhǔn)備和大模型用例的管理，包括基礎(chǔ)模型預(yù)訓(xùn)練、領(lǐng)域自適應(yīng)預(yù)訓(xùn)練 （DAPT）、監(jiān)督微調(diào) （SFT） 和參數(shù)高效微調(diào) （PEFT）。

接下來使用NeMo Customizer簡(jiǎn)化大模型的微調(diào)和對(duì)齊。最初支持兩種流行的參數(shù)高效微調(diào)技術(shù)：LoRA和P-Tuning。未來還將添加對(duì)完全對(duì)齊技術(shù)的支持，包括監(jiān)督式微調(diào)（SFT）、從人類反饋中進(jìn)行強(qiáng)化學(xué)習(xí)（RLHF）、直接偏好優(yōu)化（DPO）以及NVIDIA SteerLM等。

Nemo Evaluator支持多種學(xué)術(shù)基準(zhǔn)的自動(dòng)評(píng)估，能夠?qū)ψ远x數(shù)據(jù)集進(jìn)行評(píng)估，同時(shí)也支持支持使用大模型作為評(píng)委（LLM-as-a-Judge）對(duì)模型響應(yīng)進(jìn)行自動(dòng)評(píng)估。

NeMo Guardrails使開發(fā)者能夠構(gòu)建三種邊界：

• 主題護(hù)欄防止應(yīng)用偏離進(jìn)非目標(biāo)領(lǐng)域，例如防止客服助理回答關(guān)于天氣的問題。
• 功能安全護(hù)欄確保應(yīng)用能夠以準(zhǔn)確、恰當(dāng)?shù)男畔⒆鞒龌貜?fù)。它們能過濾掉不希望使用的語言，并強(qiáng)制要求模型只引用可靠的來源。
• 信息安全護(hù)欄限制應(yīng)用只與已確認(rèn)安全的外部第三方應(yīng)用建立連接。

在創(chuàng)建了自定義模型后，企業(yè)就可以構(gòu)建NVIDIA NIM推理微服務(wù)，在其首選的云平臺(tái)，使用自己選擇的最佳機(jī)器學(xué)習(xí)運(yùn)維（MLOps）和人工智能運(yùn)維（AIOps）平臺(tái)在生產(chǎn)中運(yùn)行這些模型。

合成數(shù)據(jù)趨勢(shì)爆發(fā)

像Llama 3.1 405B和和英偉達(dá)Nemotron-4 340B這樣超過千億參數(shù)的大模型，用在絕大多數(shù)場(chǎng)景在成本和速度上都不會(huì)令人滿意。

英偉達(dá)和Meta都意識(shí)到，用于生產(chǎn)合成數(shù)據(jù)，將是他們發(fā)揮作用的最大場(chǎng)景。

英偉達(dá)Nemotron-4 340B系列包括基礎(chǔ)、指導(dǎo)和獎(jiǎng)勵(lì)模型，這些模型形成一個(gè)管道，用于生成用于訓(xùn)練和優(yōu)化LLMs的合成數(shù)據(jù)，并且使用了獨(dú)特寬松的開放模型許可證，為開發(fā)人員提供了一種免費(fèi)、可擴(kuò)展的方式來生成合成數(shù)據(jù)

Llama 3.1更新的開源協(xié)議這次也特別聲明：允許使用Llama生產(chǎn)的數(shù)據(jù)去改進(jìn)其他模型，只不過用了之后模型名稱開頭必須加上Llama字樣。