一、背景

最近在看騰訊最新混元大模型的 Paper 時(shí)（[2411.02265] Hunyuan-Large: An Open-Source MoE Model with 52 Billion Activated Parameters by Tencent [1]），看到了如下關(guān)于計(jì)算 Budget 的公式

由于我們的工作中也會(huì)經(jīng)常根據(jù)計(jì)算資源 Budget 評(píng)估 LLM 預(yù)訓(xùn)練時(shí)間，而該公式與我們平常的計(jì)算方式不太一致；此外，如下圖所示，我們也看到很多文章中將上述公式中的第二項(xiàng)理解為長(zhǎng)序列情況下 Attention 的額外計(jì)算開銷，而將 6ND -> 9.6ND 看成 Router 引入的開銷，與我們的計(jì)算結(jié)論也非常不一致，因此本文中我們簡(jiǎn)單回顧一下相關(guān)內(nèi)容。

本文中的很多內(nèi)容我們?cè)谥暗奈恼轮幸呀?jīng)介紹過，具體可以參考：

• LLaMA 3 技術(shù)報(bào)告解讀：全面梳理 LLM 相關(guān)技術(shù)棧
• 萬(wàn)卡 GPU 集群實(shí)戰(zhàn)：探索 LLM 預(yù)訓(xùn)練的挑戰(zhàn)

二、LLM 參數(shù)量&計(jì)算量

2.1 Dense LLM 參數(shù)量

標(biāo)準(zhǔn) Transformer 模型不管是 Encoder Only 的 Bert 系列模型，還是 Decoder Only 的 GPT 系列模型，同配置下參數(shù)量和計(jì)算量都是類似的。其中的一個(gè)關(guān)鍵點(diǎn)是：標(biāo)準(zhǔn) Transformer Block 輸入、輸出以及中間 Attention Out 的 Hidden Dim 是保持不變的，也就是一直是 Token Embedding 的 Hidden Dim。所有的 Transformer Block 都非常規(guī)整。

如下圖 Figure 1 Encoder 所示（圖片來(lái)自 [2302.14017] Full Stack Optimization of Transformer Inference: a Survey [2]），主要參數(shù)都來(lái)自幾個(gè)矩陣乘的 Weight 矩陣，其中 d 表示 Token Embedding 的 Hidden Dim，l 表示 Token 數(shù)，h 表示 MHA 中的 Head 個(gè)數(shù)，dFFN 表示 FFN 層中間升維后的 Dim。具體來(lái)說(shuō)：

• MHA紅框：Wq，Wk，Wv 的大小都是 d x d。當(dāng)然這里也可以從 h 個(gè) Head 的角度去看，則每個(gè) Head 的 Wq，Wk，Wv 為 d x d/h，實(shí)際上參數(shù)量和計(jì)算量都是等價(jià)的。
• MHA藍(lán)框：在 MHA 的最后還有一個(gè)矩陣乘操作，對(duì)應(yīng)的 Wout 維度依然為 d x d。
• FFN綠框：在標(biāo)準(zhǔn) Transformer 的 FFN 中有兩個(gè) Linear 層，先升維再降維，對(duì)應(yīng)的 Weight 矩陣 W1 和 W2 的大小都是 dFFN x d，并且標(biāo)準(zhǔn)的 dFFN 為 4d，也就是說(shuō) FFN 處兩個(gè)權(quán)重矩陣的參數(shù)量為 8d x d。?

綜上，在標(biāo)準(zhǔn)的 Transformer 模型或者 LLaMA 系列（MHA）中，如果忽略詞表、Embedding、LayerNorm 等參數(shù)后，總參數(shù)量為（所有 Transformer Block）：

N = nlayer *(nmha + nffn) = nlayer *(3d*d + d*d + 8d*d) = 12*nlayer*d*d

2.2 LLaMA LLM 參數(shù)量

2.2.1 SwiGLU

在 LLaMA 等模型中在 FFN 中會(huì)使用 SwiGLU 激活，這也就導(dǎo)致其會(huì)額外多了一個(gè)權(quán)重矩陣，如下圖所示：

在 LLaMA-1 的 Paper（[2302.13971] LLaMA: Open and Efficient Foundation Language Models [3]）中作者提到，使用 SwiGLU 后將 dFFN 從 4d 降低到了 8d/3。這樣 3 個(gè)權(quán)重矩陣的參數(shù)量還是 8d，總的參數(shù)量依然可以使用 12*nlayer*d*d 預(yù)估。

2.2.2 GQA

之前公式對(duì)應(yīng)的是 MHA（Multi Head Attention），這也是 LLaMA-1 系列模型的標(biāo)準(zhǔn)實(shí)現(xiàn)。不過，LLaMA-2 的 30B 和 70B 模型以及 LLaMA-3 的全部模型都開始使用 GQA（Grouped Query Attention）。使用 GQA 時(shí)，多個(gè) Attention Head 會(huì)共享一個(gè) Key 和 Value，比如常見的配置是每 4 或 8 個(gè) Head 共享相同的 Key 和 Value，此時(shí) Wk，Wv 的大小會(huì)變?yōu)?d x d/g，其中 g 表示每 g 個(gè) Head 共享相同的 Key 和 Value。

在 LLaMA 2 的 Paper（[2307.09288] Llama 2: Open Foundation and Fine-Tuned Chat Models [4]）中，作者提到，為了保持使用 GQA 和使用 MHA 的總參數(shù)量保持不變，對(duì)于 GQA 模型，會(huì)將 FFN Dim 維度乘以 1.3（PS：不確定 1.3 是怎么來(lái)的）：

比如 LLaMA 2 70B 的 d 為 8192，dFFN 為 28672，如下圖所示，大概計(jì)算方式為（512 對(duì)齊）：

int(int(8192*8/3*1.3+512-1)/512)*512=28672

比較奇怪的的是 CodeLLaMA 34B 中使用了 GQA，但并未乘以 1.3（雖然 LLaMA 2 34B 未開源，但 LLaMA 2 34B 與 CodeLLaMA 34B 一樣，也就是說(shuō) LLaMA 2 34B 中也未乘以 1.3）。如下圖所示，其中 d 為 8192，dFFN 為 22016，大概計(jì)算方式為（512 對(duì)齊）：

int(int(8192*8/3+512-1)/512)*512=22016

其實(shí)關(guān)于 dFFN 的數(shù)值在 LLaMA 3.1 早期的技術(shù)報(bào)告中也鬧過烏龍，如下圖 Table 3 所示，其直接將 dFFN 寫成為 3d/2：

如下圖 Table 3 所示，Meta 在 Arxiv 上的 Paper（[2407.21783] The Llama 3 Herd of Models [5]）中已經(jīng)修正了這個(gè)問題，比如對(duì)于 8B 模型，d 為 4096，dFFN 為 14336，大概計(jì)算方式為（512 對(duì)齊）：

int(int(4096*8/3*1.3+512-1)/512)*512=14336

2.2.3 LLaMA 3

經(jīng)過上述調(diào)整之后，LLaMA 3 不再是標(biāo)準(zhǔn)的 Transformer Block，此時(shí)使用 N=12*d*d 來(lái)預(yù)估參數(shù)量已經(jīng)不太準(zhǔn)確。但依舊可以將其按照（Wq，Wout）（Wk，Wv），WFFN 和 WEmb 4 個(gè)部分來(lái)統(tǒng)計(jì)。比如，對(duì)于 LLaMA 3 模型，我們可以按照下述方式估計(jì)其參數(shù)量：

N = nlayer *(2d*d + 2d*d*kv/h + 3d*dFFN)+2*Vocab*d

根據(jù)上述公式，可以推算出上述不同模型的參數(shù)量：

8B：32*(4096*4096*(2+2*8/32)+3*4086*14336)+2*128000*4096=8B

70B：80*(8192*8192*(2+2*8/64)+3*8192*28672)+2*128000*8192=70B

405B：126*(16384*16384*(2+2*8/128)+3*16384*53248)+2*128000*16384=405B

2.3 Dense LLM 計(jì)算量

其實(shí)整體的計(jì)算量（僅考慮 Forward 操作）也是集中在模型中的一些矩陣乘法，包括：

• MHA紅框：Wq，Wk，Wv 對(duì)應(yīng)的計(jì)算量都為 2 x (d x d x l)，其中 2 表示一個(gè)乘法和一個(gè)加法。
• MHA藍(lán)框：Wout 對(duì)應(yīng)的計(jì)算量為 2 x (d x d x l)。
• MHA Attention（綠色方塊）：2 x (l x d/h x l + l x d/h x l) x h = 4 x d x l x l。需要說(shuō)明的是，如果是 Decoder（LLM），由于 Causal Mask 的存在，此處的計(jì)算量應(yīng)該減半，也就是 2 x d x l x l。
• FFN綠框：W1 和 W2 對(duì)應(yīng)的計(jì)算量為 2 x (dFFN x d x l) 和 2 x (d x dFFN x l)。LLaMA 的 SwiGLU 類似。?

也可參考  [2302.14017] Full Stack Optimization of Transformer Inference: a Survey 中的 Table 2，其中列出了相應(yīng)矩陣乘操作的 Dim，也就可以推出對(duì)應(yīng)的計(jì)算量：

綜上，在標(biāo)準(zhǔn)的 Transformer 模型或者 LLaMA 系列（MHA）中，如果忽略詞表、Embedding、LayerNorm 等模塊，總計(jì)算量為（所有 Transformer Block）：

C = nlayer *(cmha + cffn) = nlayer *2*(3d*d*l + d*d*l + d*l*l + 8d*d*l)

C =  24*nlayer*d*d*l + 2*nlayer*d*l*l = 2*N*l + 2*nlayer*d*l*l

由于大部分情況下預(yù)訓(xùn)練的序列長(zhǎng)度 l 遠(yuǎn)小于 12d，比如：

• LLaMA-1 7B 的 d 為 4K，預(yù)訓(xùn)練的 l 為 2K。
• LLaMA-2 7B 的 d 為 4K，預(yù)訓(xùn)練的 l 為 4K。
• LLaMA-3 8B 的 d 為 4K，預(yù)訓(xùn)練的 l 為 8K。

同理，如果是 Encoder 模型，比如 Bert，總的計(jì)算量為：

C = nlayer *2*(3d*d*l + d*d*l + 2*d*l*l + 8d*d*l) = 2*N*l + 4*nlayer*d*l*l

PS：其實(shí)不管模型中是否使用 GQA，是否使用 SwiGLU 或者像 LLaMA 中那樣將 FFN Dim 再乘以 1.3，其計(jì)算量還都可以用 C=2*N*l + 2*nlayer*d*l*l 來(lái)近似。

在 Scaling Law 的原始 Paper（[2001.08361] Scaling Laws for Neural Language Models [6]）中也有類似的計(jì)算公式，如下圖 Table 1 所示，可以看出其推導(dǎo)結(jié)論與上述我們的計(jì)算方式也基本一致，只不過紅框中為每個(gè) Token 的計(jì)算量：

假設(shè)數(shù)據(jù)集中總共包含 D 個(gè) Token，對(duì)于序列不是特別長(zhǎng)的場(chǎng)景，所有 Token Forward的計(jì)算量可以近似為 C=2*N*D。

2.4 LLM 訓(xùn)練計(jì)算量

模型的訓(xùn)練包含 Forward 和 Backward 過程，如下圖 Figure 1 所示，Backward 過程實(shí)際上包含兩部分，一部分是對(duì)輸入的梯度（鏈?zhǔn)椒▌t），一部分是對(duì)權(quán)重的梯度。其實(shí)這兩部分主要的計(jì)算量都是矩陣乘法，并且大小與 Forward中的大小一致，因此往往會(huì)直接近似 Backward 的計(jì)算量為 Forward 的 2 倍。 

綜上，訓(xùn)練總的計(jì)算量（參數(shù)更新計(jì)算量比較小，這里先忽略）為：

C = Forward + Backward = 6*N*D。

需要說(shuō)明的是，在 [2104.04473] Efficient Large-Scale Language Model Training on GPU Clusters Using Megatron-LM [7] 中 NVIDIA 使用了 Activation 重計(jì)算，所以需要多一次 Forward 操作，相應(yīng)總的計(jì)算量為：

C = 2*Forward + Backward = 8*N*D。

2.5 MoE LLM 計(jì)算量

MoE（Mixture of Experts）與標(biāo)準(zhǔn) Transformer 模型的不同在于：MoE 模型將 Transformer 模型的 FFN Block 替換為 MoE Block，其中 MoE Block 由多個(gè) Expert 組成，每一個(gè) Expert 都是標(biāo)準(zhǔn)的 FFN，實(shí)際計(jì)算時(shí)每個(gè) Token 都會(huì)經(jīng) Router 選擇 1 個(gè)或多個(gè) Expert，然后執(zhí)行類似 FFN 的計(jì)算。如下圖所示（圖片來(lái)自 A Visual Guide to Mixture of Experts (MoE) [8]）：

由于 Router 的計(jì)算量通常很小，常?？梢院雎浴Ｈ绻豢紤] Router 引入的計(jì)算量，由于上述每個(gè) Expert 實(shí)際上與非 MoE 模型的 FFN 一樣，因此也可以用同樣的方式推導(dǎo)出訓(xùn)練時(shí)每個(gè) Token 的計(jì)算量依然為 C=6*N*D，只不過這里的 N 不再是整個(gè)模型的參數(shù)量，而是每個(gè) Token 激活的參數(shù)量。

如下圖所示，論文 [2402.07871] Scaling Laws for Fine-Grained Mixture of Experts [9] 中，作者也推到過 MoE 中計(jì)算量的公式，為了普適性，作者考慮了細(xì)粒度專家的場(chǎng)景，具體來(lái)說(shuō)：

• G（Granularity）：表示粒度，也就是將一個(gè)完整的 FFN 切分為多少個(gè)細(xì)粒度的專家，比如一個(gè) FFN 可以切分為 8 個(gè)小專家，每個(gè)專家的參數(shù)量為原始 FFN 的 1/8。
• E（Expansion rate）：表示膨脹率，也就是所有專家的參數(shù)量擴(kuò)展為單個(gè)標(biāo)準(zhǔn) FFN 參數(shù)量的多少倍。比如，G=8，總共 64 個(gè)細(xì)粒度專家，則這里的 E=64/8=8，相當(dāng)于有 8 個(gè)同標(biāo)準(zhǔn)規(guī)模的 FFN。
• cf：表示除 Router 之外的計(jì)算量與參數(shù)量的比值，也就是我們上述得到的 6。
• cr：表示 Router 的計(jì)算量與參數(shù)量的比值，對(duì)于比較簡(jiǎn)單的 Router，通常為 6-20。?

從上述介紹也可以看出，通常 E*G 遠(yuǎn)小于 dmodel，因此也就可以忽略 Router 處的計(jì)算量。

2.6 Hunyuan MoE 參數(shù)量

首先使用之前的公式來(lái)計(jì)算 Hunyuan MoE 的總參數(shù)量和激活參數(shù)量，還是按照（Wq，Wout）（Wk，Wv），WFFN 和 WEmb 4 個(gè)部分：

• Wq，Wout：依舊是 2 x d x d
• Wk，Wv：由于使用了 GQA + CLA，每層 80 個(gè) Head，并且只有 8 個(gè) Key/Value Head，而 CLA 每 2 層共享 KV，等效于每層的 WK 和 WV 為 d x d/ 20。
• WFFN：每層 17 個(gè) Expert，但每個(gè) Token 激活 2 個(gè) Expert。相當(dāng)于 MoE Layer 的總參數(shù)量為 17 x 3 x d x dFFN，激活參數(shù)量為 2 x 3 x d x dFFN。
• WEmb：由于 tie_word_embeddings 為 True，因此共享 Embedding，參數(shù)量為 vocab_size x d。

根據(jù)上述 4 個(gè)部分，可以得出與論文一致的參數(shù)量（389B，52B）：

總參數(shù)量：

64*(2*6400*6400+2/20*6400*6400+3*17*6400*18304)+128512*6400=388.7B

激活參數(shù)量：

64*(2*6400*6400+2/20*6400*6400+3*2*6400*18304)+128512*6400=51.3B

2.7 Hunyuan MoE 計(jì)算量

我們重新回顧 Hunyuan MoE 中的計(jì)算量 C，如下圖 Table 1 所示為 Hunyuan MoE 的模型配置。如下圖所示，作者提到其序列長(zhǎng)度可以達(dá)到 8K，32K，256K。

這里以最短的 8K 序列長(zhǎng)度為例。由于我們之前計(jì)算過，每個(gè) Token 在 Attention 處忽略的計(jì)算量為 2*nlayer*nctx*d，相應(yīng)可以得出 Attention 額外的計(jì)算量為：

2*64*8*1024*6400=6710886400=6.7*109 >> 2.3*108

可以看出，將 2.3x108D 理解為長(zhǎng)序列時(shí) Attention 的計(jì)算開銷是不合理的。

除此之外，我們之前還忽略了 Router 的計(jì)算量，那么如果將其看成 Router 的計(jì)算量呢？因?yàn)橛?16 個(gè) Specialized Expert，相當(dāng)于 EG=16。對(duì)于比較簡(jiǎn)單的 Router，cr 為 6-20 之間，如下所示推導(dǎo)出 cr 為 35 也可以接受。

64*6400*16*cr=2.3*108  =>  cr =35

按照上述的推導(dǎo)，那么 9.59ND 更可能是除 Router 之外的計(jì)算量，為什么這里不再是 6ND 呢？作者特意提到了長(zhǎng)序列場(chǎng)景，因此我們不再忽略額外的 Attention 計(jì)算，從頭推導(dǎo)一下對(duì)應(yīng)的 C：

• 上述激活參數(shù)對(duì)應(yīng)的計(jì)算量為：6 * 51.3B*D=6ND。
• 額外的 Attention 的計(jì)算量為：6*nctx*6400*nlayer*D4=3.59ND。

如果除了 Router 外總的計(jì)算量為 C=9.59ND，可以得出，相當(dāng)于序列長(zhǎng)度為 73K：

nctx = 3.59N/6/6400/64 = 74938 = 73K

然而作者在論文中也提到，長(zhǎng)文本訓(xùn)練并不需要特別多的 Token，在 32K 和 256K 階段也都只使用了 10B Token，遠(yuǎn)小于預(yù)訓(xùn)練階段的 7T Token。所以依然比較奇怪 9.59 是怎么來(lái)的。

2.8 Megatron-LM 計(jì)算量計(jì)算

如下圖所示為 Megatron-LM 中有關(guān)計(jì)算量的計(jì)算公式（megatron/training/training.py#L98-L151 [10]），需要說(shuō)明的是，這里的 expansion_factor 為 12：

• 第一行的 3 表示 Forward + Backward。
• 第二行的 2 表示將 Attention Block 和 FFN Block 都分別看成兩組，比如 Attention 中 K 和 V 是一對(duì)，Q 和 Out 是一對(duì)，Attention 的 Q x K 和 Score x V 是一對(duì)。
• 第三行的 2 表示矩陣乘法中的乘和加，如果從單個(gè) Token 單個(gè)矩陣乘的視角，計(jì)算量就是參數(shù)量的 2 倍。?

三、LLM 訓(xùn)練效率&訓(xùn)練預(yù)估

3.1 MFU & HFU

為了評(píng)估 LLM 訓(xùn)練時(shí)的效率，業(yè)界通常會(huì)使用 Model FLOPS Utilization（MFU） 和 Hardware FLOPS Utilization（HFU） 兩個(gè)關(guān)鍵指標(biāo)來(lái)評(píng)估模型的 Forward 和 Backward 傳播過程中（包括任何的網(wǎng)絡(luò)同步開銷和 DataLoader IO）硬件的利用率。

• MFU = 預(yù)估 FLOPS/硬件理論 FLOPS。其中，預(yù)估 FLOPS 就是模型訓(xùn)練時(shí)理論需要的計(jì)算量，并不包括各種優(yōu)化方案額外引入的計(jì)算量，比如 Gradient Checkpointing/Activation Recomputation 等引入的額外計(jì)算量。
• HFU = 實(shí)際 FLOPS/硬件理論 FLOPS。其中，實(shí)際 FLOPS 也就是理論上所有實(shí)際發(fā)生的計(jì)算量，包含 Gradient checkpointing/Activation Recompution 等引入的額外計(jì)算量，因此 HFU 應(yīng)該總是 >= MFU。

如下所示為 Maximizing training throughput using PyTorch FSDP [11] 中 Meta 在 LLM 訓(xùn)練時(shí)的 MFU 和 HFU。對(duì)于 LLM 訓(xùn)練任務(wù)而言，通常在 A100/A800 GPU 集群中，MFU 可以達(dá)到 50%+，甚至接近 60%；而在 H100/H800 GPU 集群中， MFU 往往不超過 50%。

3.2 175B 訓(xùn)練實(shí)際預(yù)估

有了以上的計(jì)算公式，根據(jù)每個(gè) Token 計(jì)算量（6N）、總的 Token 數(shù)，以及計(jì)算資源就可以大概預(yù)估出訓(xùn)練的總時(shí)長(zhǎng)。如下所示：

訓(xùn)練天數(shù) = Token 數(shù) * Ctoken / (GPU 數(shù) * GPU FLOPs * MFU * 3600 * 24)

根據(jù)以上公式可以預(yù)估使用 8192 H100-80G GPU（FLOPs 為 989T），10T Token 數(shù)據(jù)訓(xùn)練 175B 模型的天數(shù)為 30 天，其中假設(shè) MFU 為 50%：

10T*6*175B/(8192*989T*50%)/3600/24=30 天

當(dāng)然，上述是理想的估算，實(shí)際的訓(xùn)練中往往無(wú)法保證一直穩(wěn)定的訓(xùn)練，比如可能出現(xiàn)機(jī)器異常導(dǎo)致任務(wù)中斷、降速等，因此在上述理論預(yù)估的基礎(chǔ)上往往會(huì)留一定的 Buffer，比如 10% 的 Buffer 時(shí)長(zhǎng)。

3.3 LLaMA 3 405B 訓(xùn)練實(shí)際預(yù)估

對(duì)于 LLaMA 3 405B 模型，使用 15T Token，16384 H100 GPU，MFU 為 41%，那么對(duì)應(yīng)的理想訓(xùn)練時(shí)間為：

15T*6*405B/(16384*989T*41%)/3600/24=42.3 天

然而，Meta 在 LLaMA 3 的技術(shù)報(bào)告（[2407.21783] The Llama 3 Herd of Models）中介紹 LLaMA 3 的預(yù)訓(xùn)練時(shí)間在 54 天左右，比 42.3 天多一些，可能得原因有幾個(gè)方面。

其中一個(gè)原因可能是其提到的多達(dá) 466 次的訓(xùn)練中斷，其中包括 47 次有計(jì)劃中斷，以及 419 次的預(yù)期外中斷。在非預(yù)期中斷中，78% 是硬件問題，例如 GPU 或物理機(jī)其他組件的異常，而 GPU 相關(guān)問題占到 58.7%。

另一個(gè)可能的原因是不同訓(xùn)練階段使用了不同規(guī)模的 GPU 和數(shù)據(jù)量。比如，如下圖 Table 4 所示涉及到 3 種不同的配置：

但上述配置并不能與作者介紹的 405B 模型預(yù)訓(xùn)練階段對(duì)應(yīng)。比如，作者提到，在訓(xùn)練的早期階段使用比較小的 Batch Size以提高訓(xùn)練穩(wěn)定性，然后會(huì)增加 Batch Size 以提高訓(xùn)練效率。具體來(lái)說(shuō)：

• 初始時(shí) 4K 序列長(zhǎng)度，一個(gè) Batch 內(nèi) 4M Token，對(duì)應(yīng) Global Batch Size 為 1K。
• 訓(xùn)練 252M Token 后擴(kuò)展到 8K，共 8M Token，對(duì)應(yīng) Global Batch Size 為 1K。
• 訓(xùn)練到 2.87T Token 時(shí)進(jìn)一步 Double Batch Size，擴(kuò)展到 16M Token，對(duì)應(yīng) Global Batch Size 為 2K。
• 針對(duì)長(zhǎng)序列訓(xùn)練：作者分為 6 個(gè)階段逐步增加上下文長(zhǎng)度，將序列長(zhǎng)度從最初的 8K擴(kuò)展 到最終的 128K，這個(gè)階段大約使用了 800B Token。

3.4 其他數(shù)據(jù)

其實(shí)很多 Paper 中也會(huì)簡(jiǎn)單提到其訓(xùn)練模型規(guī)模、訓(xùn)練資源、時(shí)長(zhǎng)、MFU 等指標(biāo)，但往往一筆帶過，如下所示為一些示例：

以上圖中 Nemotron-4 340B 的相應(yīng)配置可以預(yù)估出對(duì)應(yīng)的訓(xùn)練時(shí)長(zhǎng)，可以看出與實(shí)際時(shí)長(zhǎng)非常接近：

0.2T*6*340B/(1536*989T*42.4%)/3600/24=7.3 天

0.2T*6*340B/(3072*989T*42.3%)/3600/24=3.7 天

7.6T*6*340B/(6144*989T*41%)/3600/24=72 天

四、參考鏈接

1. https://arxiv.org/abs/2411.02265
2. https://arxiv.org/abs/2302.14017
3. https://arxiv.org/abs/2302.13971
4. https://arxiv.org/abs/2307.09288
5. https://arxiv.org/abs/2407.21783
6. https://arxiv.org/abs/2001.08361
7. https://arxiv.org/pdf/2104.04473
8. https://newsletter.maartengrootendorst.com/p/a-visual-guide-to-mixture-of-experts
9. https://arxiv.org/abs/2402.07871
10. https://github.com/NVIDIA/Megatron-LM/blob/main/megatron/training/training.py#L98-L151
11. https://pytorch.org/blog/maximizing-training/

本文轉(zhuǎn)載自 ??AI閑談??，作者： AI閑談