隨著對Sora技術(shù)分析的展開，AI基礎(chǔ)設(shè)施的重要性愈發(fā)凸顯。

來自字節(jié)和北大的一篇新論文在此時吸引關(guān)注：

文章披露，字節(jié)搭建起的萬卡集群，能在1.75天內(nèi)完成GPT-3規(guī)模模型（175B）的訓(xùn)練。

具體來說，字節(jié)提出了一個名為MegaScale的生產(chǎn)系統(tǒng)，旨在解決在萬卡集群上訓(xùn)練大模型時面臨的效率和穩(wěn)定性挑戰(zhàn)。

在12288塊GPU上訓(xùn)練1750億參數(shù)大語言模型時，MegaScale實(shí)現(xiàn)了55.2%的算力利用率（MFU），是英偉達(dá)Megatron-LM的1.34倍。

論文還透露，截止2023年9月，字節(jié)已建立起超過1萬張卡的Ampere架構(gòu)GPU（A100/A800）集群，目前正在建設(shè)大規(guī)模Hopper架構(gòu)（H100/H800）集群。

適用于萬卡集群的生產(chǎn)系統(tǒng)

大模型時代，GPU的重要性已無需贅述。

但大模型的訓(xùn)練，并不是把卡的數(shù)量拉滿就能直接開干的——當(dāng)GPU集群的規(guī)模來到“萬”字級別，如何實(shí)現(xiàn)高效、穩(wěn)定的訓(xùn)練，本身就是一個頗具挑戰(zhàn)的工程問題。

第一重挑戰(zhàn)：效率。

訓(xùn)練大語言模型并非簡單的并行任務(wù)，需要在多個GPU之間分布模型，并且這些GPU需要頻繁通信才能共同推進(jìn)訓(xùn)練進(jìn)程。通信之外，操作符優(yōu)化、數(shù)據(jù)預(yù)處理和GPU內(nèi)存消耗等因素，都對算力利用率（MFU）這個衡量訓(xùn)練效率的指標(biāo)有影響。

MFU是實(shí)際吞吐量與理論最大吞吐量之比。

第二重挑戰(zhàn)：穩(wěn)定性。

我們知道，訓(xùn)練大語言模型往往需要花費(fèi)非常長的時間，這也意味著，訓(xùn)練過程中失敗和延遲的現(xiàn)象并不鮮見。

失敗的成本是高昂的，因此如何縮短故障恢復(fù)時間變得尤為重要。

為了應(yīng)對這些挑戰(zhàn)，字節(jié)跳動的研究人員構(gòu)建了MegaScale，并已將其部署到字節(jié)的數(shù)據(jù)中心中，用以支持各種大模型的訓(xùn)練。

MegaScale是在英偉達(dá)Megatron-LM的基礎(chǔ)上改進(jìn)的。

具體改進(jìn)包括，算法和系統(tǒng)組件的共同設(shè)計、通信和計算重疊的優(yōu)化、操作符優(yōu)化、數(shù)據(jù)流水線優(yōu)化以及網(wǎng)絡(luò)性能調(diào)優(yōu)等：

• 算法優(yōu)化：研究人員在模型架構(gòu)中引入并行化的Transformer塊、滑動窗口注意力機(jī)制（SWA）和LAMB優(yōu)化器，來提高訓(xùn)練效率而不犧牲模型的收斂性。
• 通信重疊：基于對3D并行（數(shù)據(jù)并行、流水線并行、張量并行）中各個計算單元操作的具體分析，研究人員設(shè)計技術(shù)策略有效地減少了非關(guān)鍵執(zhí)行路徑上操作所帶來的延遲，縮短了模型訓(xùn)練中每一輪的迭代時間。
• 高效操作符：對GEMM操作符進(jìn)行了優(yōu)化，對LayerNorm和GeLU等操作進(jìn)行了融合，以減少啟動多個內(nèi)核的開銷，并優(yōu)化內(nèi)存訪問模式。
• 數(shù)據(jù)流水線優(yōu)化：通過異步數(shù)據(jù)預(yù)處理和消除冗余的數(shù)據(jù)加載器，來優(yōu)化數(shù)據(jù)預(yù)處理和加載，減少GPU空閑時間。
• 集體通信群初始化：優(yōu)化了分布式訓(xùn)練中英偉達(dá)多卡通信框架NCCL初始化的過程。在未經(jīng)優(yōu)化的情況下，2048張GPU的集群初始化時間是1047秒，優(yōu)化后可降至5秒以下；萬卡GPU集群的初始化時間則可降至30秒以下。
• 網(wǎng)絡(luò)性能調(diào)優(yōu)：分析了3D并行中的機(jī)器間流量，設(shè)計技術(shù)方案提高網(wǎng)絡(luò)性能，包括網(wǎng)絡(luò)拓?fù)湓O(shè)計、減少ECMP哈希沖突、擁塞控制和重傳超時設(shè)置。
• 故障容忍：在萬卡集群中，軟硬件故障難以避免。研究人員設(shè)計了一個訓(xùn)練框架，來實(shí)現(xiàn)自動故障識別和快速恢復(fù)。具體包括，開發(fā)診斷工具來監(jiān)控系統(tǒng)組件和事件、優(yōu)化checkpoint高頻保存訓(xùn)練進(jìn)程等。

論文提到，MegaScale能夠自動檢測和修復(fù)超過90%的軟硬件故障。

實(shí)驗(yàn)結(jié)果表明，MegaScale在12288個GPU上訓(xùn)練175B大語言模型時，實(shí)現(xiàn)了55.2%的MFU，是Megatrion-LM算力利用率的1.34倍。

訓(xùn)練530B大語言模型的MFU對比結(jié)果如下：

One More Thing

就在這篇技術(shù)論文引發(fā)討論之際，字節(jié)類Sora產(chǎn)品也傳出了新消息：

剪映旗下類似Sora的AI視頻工具已經(jīng)啟動邀請內(nèi)測。

看樣子地基已經(jīng)打好，那么對于字節(jié)的大模型產(chǎn)品，你期待嗎？

論文地址：https://arxiv.org/abs/2402.15627