編輯 | 伊風(fēng)

出品 | 51CTO技術(shù)棧（微信號(hào)：blog51cto）

AMD的旗艦AI GPU加速器，被曝軟件存在大量bug，幾乎無(wú)法用于訓(xùn)練AI模型？！

這事挺讓人意外的，因?yàn)樗墒茿MD用來(lái)阻擊霸主英偉達(dá)的一張王牌。

去年12月，AMD在自家的“Advancing AI”活動(dòng)中，首次宣布推出了MI300X，其性能比英偉達(dá)的 H100 足足高出 60%！

圖片

一年過(guò)去了，已經(jīng)投產(chǎn)的AMD MI300X是否真有當(dāng)時(shí)宣傳的那么強(qiáng)勁？

技術(shù)分析公司SemiAnalysis發(fā)了一份真實(shí)、詳盡的報(bào)告，感覺(jué)太打臉了……他們對(duì) @NVIDIA H100/H200 GPU 和 @AMD MI300X 的性能進(jìn)行了比較，揭開(kāi)了發(fā)布會(huì)數(shù)據(jù)與現(xiàn)實(shí)的殘忍鴻溝！

這份報(bào)告有多真實(shí)呢？報(bào)告中一點(diǎn)拐彎抹角也沒(méi)有，直接說(shuō)：AMD 的軟件體驗(yàn)充滿了 bug，使得 MI300X 的開(kāi)箱即用訓(xùn)練幾乎不可能。

報(bào)告中還給了個(gè)細(xì)節(jié)：這份歷時(shí)五個(gè)月的調(diào)查報(bào)告，本來(lái)計(jì)劃幾個(gè)月前就發(fā)布——但都被AMD的軟件bug給生生耽誤了！

報(bào)告團(tuán)隊(duì)直接聯(lián)系了 AMD技術(shù)人員一起debug！

“為了讓 MI300X 的表現(xiàn)不因軟件棧的 bug 而受限，我們花費(fèi)了大量時(shí)間定位和修復(fù) AMD 軟件的 bug，而非僅僅展示開(kāi)箱性能問(wèn)題?！?/p>

報(bào)告中提到：我們與 AMD 的反復(fù)互動(dòng)旨在確保我們的測(cè)試能夠客觀地評(píng)估實(shí)際用戶可能遇到的體驗(yàn)。

這個(gè)體驗(yàn)差不說(shuō)。主要問(wèn)題是，不是所有用戶都有機(jī)會(huì)聯(lián)系上AMD副總裁解決這些bug吧……

看來(lái)，英偉達(dá)的“CUDA護(hù)城河”依然穩(wěn)穩(wěn)的很安心。

MI300X暫時(shí)無(wú)法匹敵對(duì)手的芯片，報(bào)告說(shuō)，AMD的改進(jìn)仍有許多的工作要做，”如果軟件沒(méi)有實(shí)質(zhì)性的改進(jìn)，AMD可能會(huì)進(jìn)一步落后，尤其是在Nvidia即將推出下一代Blackwell芯片的情況下?！?/p>

那么AMD的MI300X關(guān)鍵問(wèn)題有哪些？我們梳理了這份報(bào)告的Key Findings ，然后看看已經(jīng)囤了AMD卡的該如何“補(bǔ)救”一下。

一、“如果不是AMD工程師幫助，其效能會(huì)遠(yuǎn)低于Nvidia”

SemiAnalysis團(tuán)隊(duì)透露，他們和蘇姿豐會(huì)面談了1.5個(gè)小時(shí)，并向蘇媽給了很多的建議。

蘇媽承認(rèn) AMD 軟件棧中存在缺陷。并且也大方回復(fù)，表示聽(tīng)勸。

圖片

我們?cè)敿?xì)看看報(bào)告中AMD MI300X 問(wèn)題的部分：

1. 僅從理論上的FLOP/s和HBM帶寬/容量進(jìn)行比較，就像僅憑相機(jī)的像素?cái)?shù)來(lái)評(píng)估相機(jī)性能一樣。真正判斷性能的唯一方法是運(yùn)行實(shí)際的基準(zhǔn)測(cè)試。
2. Nvidia的“開(kāi)箱即用”性能和用戶體驗(yàn)非常出色，我們?cè)诨鶞?zhǔn)測(cè)試中沒(méi)有遇到任何Nvidia特有的Bug。Nvidia僅安排了一名工程師為我們提供技術(shù)支持，但由于我們沒(méi)有遇到Nvidia軟件問(wèn)題，因此幾乎不需要額外支持。
3. 相比之下，AMD的“開(kāi)箱即用”體驗(yàn)非常難以使用，需要相當(dāng)?shù)哪托暮团Σ拍苓_(dá)到可用狀態(tài)。在我們的大部分基準(zhǔn)測(cè)試中，AMD PyTorch公共穩(wěn)定版本仍然存在問(wèn)題，需要通過(guò)各種變通方法來(lái)解決。
4. 如果沒(méi)有AMD多支工程師團(tuán)隊(duì)的支持來(lái)排查和修復(fù)我們遇到的軟件問(wèn)題，AMD的結(jié)果會(huì)遠(yuǎn)低于Nvidia的水平。
5. 我們與Sustainable Metal Cloud合作，在256塊Nvidia H100上運(yùn)行了非官方的MLPerf訓(xùn)練GPT-3 175B模型，以測(cè)試不同VBoost設(shè)置的效果。
6. 對(duì)于AMD而言，其公開(kāi)穩(wěn)定版本軟件的實(shí)際性能遠(yuǎn)遠(yuǎn)低于其宣傳的理論TFLOP/s。Nvidia的實(shí)際性能同樣低于宣傳的理論TFLOP/s，但差距沒(méi)有AMD那么大。
7. 雖然MI300X的總體擁有成本（TCO）比H100/H200更低，但基于AMD公開(kāi)穩(wěn)定版本軟件的訓(xùn)練性能在TCO維度上的表現(xiàn)更差。不過(guò)，如果使用AMD軟件的定制開(kāi)發(fā)版本，情況會(huì)有所改變。
8. 在訓(xùn)練性能上，MI300X在矩陣乘法微基準(zhǔn)測(cè)試中的表現(xiàn)較弱，基于AMD公共版本軟件的單節(jié)點(diǎn)訓(xùn)練吞吐量仍然落后于Nvidia的H100和H200。
9. MI300X的性能受限于AMD的軟件。雖然MI300X在BF16開(kāi)發(fā)分支上的性能有所改善，但這些改進(jìn)尚未合并到AMD內(nèi)部代碼庫(kù)的主分支中，也沒(méi)有進(jìn)入PyTorch穩(wěn)定版本。在這些改進(jìn)被合并并發(fā)布之前，Nvidia的下一代Blackwell可能已經(jīng)上市了。
10. AMD的訓(xùn)練性能還受到MI300X擴(kuò)展性能較弱的限制。這是由于其ROCm計(jì)算通信庫(kù)（RCCL）的弱點(diǎn)，以及與Nvidia相比，AMD在網(wǎng)絡(luò)和交換硬件的垂直整合程度較低。而Nvidia通過(guò)其Nvidia集體通信庫(kù)（NCCL）、InfiniBand/Spectrum-X網(wǎng)絡(luò)結(jié)構(gòu)和交換機(jī)實(shí)現(xiàn)了高度的整合。
11. AMD的許多AI庫(kù)是Nvidia AI庫(kù)的分支版本，這導(dǎo)致了次優(yōu)的結(jié)果和兼容性問(wèn)題。
12. AMD的客戶通常僅在推理時(shí)使用手工優(yōu)化的內(nèi)核，這意味著其性能僅限于非常狹窄且定義明確的用例，而在快速變化的工作負(fù)載下缺乏靈活性。

需要查看完整報(bào)告的朋友，地址在這里↓：

?? https://semianalysis.com/2024/12/22/mi300x-vs-h100-vs-h200-benchmark-part-1-training/??

二、機(jī)器學(xué)習(xí)編譯技術(shù)，讓AMD變得更“好用”

雖然AMD GPU的軟件棧有硬傷，但也不是完全無(wú)解的。

Hacker News上熱議的一篇技術(shù)博客，講解了他們?nèi)绾问褂脵C(jī)器學(xué)習(xí)編譯技術(shù)，讓AMD能和NVIDIA的卡掰掰手腕。

通過(guò)機(jī)器學(xué)習(xí)編譯（MLC）技術(shù)，在性能優(yōu)化和自動(dòng)化配置上解決了AMD GPU在軟件層面的主要缺陷。

最終實(shí)現(xiàn)的效果：能在AMD GPU 上使用 ROCm 部署 LLM ，而且性能極具競(jìng)爭(zhēng)力！

通過(guò)他們的 MLC-LLM 項(xiàng)目，AMD Radeon RX 7900 XTX 的推理性能已經(jīng)接近 NVIDIA RTX 3090 Ti 的 94%，并達(dá)到 RTX 4090 的 80%。

圖片

通過(guò)機(jī)器編譯技術(shù)，復(fù)雜的手動(dòng)優(yōu)化工作實(shí)現(xiàn)了自動(dòng)化。巧妙解決了AMD用戶手動(dòng)設(shè)置大量環(huán)境變量（如幾十個(gè)）來(lái)優(yōu)化性能的痛點(diǎn)。

MLC-LLM 項(xiàng)目做到這些的核心原理有三：

• 自動(dòng)生成最優(yōu)計(jì)算路徑
• 替代手動(dòng)調(diào)參，提升易用性
• 高效利用硬件特性

關(guān)于具體實(shí)現(xiàn)方法，請(qǐng)?zhí)D(zhuǎn)該博客進(jìn)行閱讀：

?? https://blog.mlc.ai/2023/08/09/Making-AMD-GPUs-competitive-for-LLM-inference??

三、寫在最后：英偉達(dá)的領(lǐng)先態(tài)勢(shì)還將繼續(xù)

這篇技術(shù)報(bào)告揭露的問(wèn)題，讓我們看到了發(fā)布會(huì)和現(xiàn)實(shí)的差距。

一位前NVIDIA的技術(shù)人員說(shuō)，“除了實(shí)驗(yàn)性硬件規(guī)格之外，還有許多事情要做”。

圖片

Nvidia的CUDA生態(tài)已然是修好的高速公路，一路暢通；而AMD的生態(tài)目前仍像是一條坑坑洼洼的鄉(xiāng)村小路——開(kāi)發(fā)者需要花很多時(shí)間修路。

AMD的消費(fèi)級(jí) GPU 基于 RDNA 架構(gòu)，而數(shù)據(jù)中心級(jí) GPU 基于 CDNA 架構(gòu)，預(yù)計(jì)到 2026 年， AMD 才會(huì)發(fā)布統(tǒng)一的 UDNA 架構(gòu)。

圖片

在AMD修路的時(shí)候，英偉達(dá)的工程師還在加班加點(diǎn)，通過(guò)新功能、新庫(kù)和性能更新來(lái)加深護(hù)城河。

在如此深的護(hù)城河下，沒(méi)有英偉達(dá)的平替。

?本文轉(zhuǎn)載自??51CTO技術(shù)棧??，作者：伊風(fēng)