昨天，老黃又「贏麻了」！

為啥呢？原來在最新的 MLPerf 基準(zhǔn)測(cè)試中，英偉達(dá) H100 GPU 芯片組在以下八項(xiàng)基準(zhǔn)測(cè)試中全部創(chuàng)下了新紀(jì)錄，同時(shí)成為唯一一個(gè)跑完所有測(cè)試的硬件平臺(tái)。

據(jù)悉，最新 MLPerf Training v3.0 包含了基于 GPT-3 175B 的大型語言模型（LLM）測(cè)試，側(cè)重于生成式 AI 能力。

圖源：MLPerf benchmarks。

LLM 訓(xùn)練測(cè)試中還使用了專注于 GPU 加速的云計(jì)算服務(wù)提供商 CoreWeave 提供的 NVIDIA HGX H100 基礎(chǔ)設(shè)施，在多個(gè)規(guī)模上聯(lián)合提交了 LLM 工作負(fù)載。

出來的結(jié)果令人振奮：在 896 個(gè)英特爾 Xeon Platinum 8462Y 和 3584 個(gè)英偉達(dá) H100 芯片的合作下，僅僅用了 11 分鐘就完成了基于 GPT-3 的 LLM 訓(xùn)練任務(wù)。

圖片

一時(shí)之間，AI 社區(qū)響起了老黃贏麻了的歡呼聲。

可結(jié)果真如此嗎？今天有人對(duì)此事提出了質(zhì)疑。

先是 PyTorch 創(chuàng)始人 Soumith Chintala，他認(rèn)為 GPT-3 并沒有在 11 分鐘內(nèi)訓(xùn)練完成。使用 3584 個(gè) H100 GPU，GPT-3 架構(gòu)在 C4 數(shù)據(jù)集上訓(xùn)練了 11 分鐘，對(duì)數(shù)概率為 2.69。

這里不要只關(guān)注「11 分鐘」，因?yàn)檫@就像說「ResNet-50 在 MNIST（其實(shí)這里他想說的是 CIFAR100）上，5 秒內(nèi)訓(xùn)練達(dá)到了 80％的準(zhǔn)確率?！?/span>

圖片

推特用戶 @abhi_venigalla 對(duì) Soumith 的觀點(diǎn)表示贊同，他是生成式 AI 創(chuàng)業(yè)公司 MosaicML 的研究者。他認(rèn)為 MLPerf 基準(zhǔn)測(cè)試中訓(xùn)練 GPT-3 的時(shí)間更可能是 2 天。

在他看來，該基準(zhǔn)測(cè)試并不是完整的 GPT-3。MLPerf 的 LLM 基準(zhǔn)只提供了一個(gè)開始的檢查點(diǎn)，然后必須達(dá)到目標(biāo)損失。

因此，該基準(zhǔn) 11 分鐘跑完 GPT-3 只覆蓋 1.2B 的 token，而非完整的 300B token。此外看起來更像是 540 TFLOPs/H100，從配置上看像 FP8，~27% MFU。

不過他也承認(rèn)，從 H100 在其軟件生命周期早期這一點(diǎn)來看，以此規(guī)模實(shí)現(xiàn)現(xiàn)在這種性能也相當(dāng)驚人。

圖片

所以，最新 MLPerf 基準(zhǔn)測(cè)試中 11 分鐘訓(xùn)完 GPT-3 是不是被誤解呢？評(píng)論區(qū)的小伙伴也可以發(fā)表下自己的觀點(diǎn)。