英偉達最強通用大模型Nemotron-4登場！15B擊敗62B，目標單張A100/H100可跑
最近，英偉達團隊推出了全新的模型Nemotron-4，150億參數(shù)，在8T token上完成了訓練。
值得一提的是，Nemotron-4在英語、多語言和編碼任務(wù)方面令人印象深刻。
論文地址：https://arxiv.org/abs/2402.16819
在7個評估基準上，與同等參數(shù)規(guī)模的模型相比，Nemotron-4 15B表現(xiàn)出色。
甚至，其性能超過了4倍大的模型，以及專用于多語言任務(wù)的模型。
如今LLM已經(jīng)非常多了，英偉達新發(fā)布的語言模型，有何不同？
打造最強通用LLM，單個A100/H100可跑
最近發(fā)表的LLM研究受到了Chinchilla模型「縮放定律」的啟發(fā)——給定固定計算預算，數(shù)據(jù)和模型大小一同優(yōu)化。
而過去，研究主要針對模型大小進行縮放。
研究表明，給定兩個數(shù)據(jù)分布類似的IsoFLOP GPT模型，一個是在1.4萬億token上的65億參數(shù)模型，另一個是3000億token上的2800億參數(shù)模型。
顯然，65B的模型在下游任務(wù)上的準確性更高。
從推理的角度來看，將計算分配給更多數(shù)據(jù)的訓練，而不是增加模型大小特別有吸引力，可以減少延遲和服務(wù)模型所需的計算量。
因此，語言建模訓練工作的主要焦點已轉(zhuǎn)向從CommonCrawl等公共資源中，收集高質(zhì)量的數(shù)萬億token數(shù)據(jù)集。
對此，英偉達研究人員提出了Nemotron-4 15B，來延續(xù)這一趨勢。
具體來說，Nemotron-4 15B是在8萬億個token，包括英語、多語種、編碼文本的基礎(chǔ)上進行訓練。
英偉達稱，Nemotron-4 15B的開發(fā)目的：
成為能在單個英偉達A100或H100 GPU上運行的最佳「通用大模型」。
架構(gòu)介紹
Nemotron-4采用了標準的純解碼器Transformer架構(gòu)，并帶有因果注意掩碼。
核心的超參數(shù)，如表1所示。
Nemotron-4有32億個嵌入?yún)?shù)和125億個非嵌入?yún)?shù)。
研究人員使用旋轉(zhuǎn)位置編碼（RoPE）、SentencePiece分詞器、MLP層的平方ReLU激活、無偏置項（bias terms）、零丟失率，以及無限制的輸入輸出嵌入。
通過分組查詢關(guān)注（GQA），可實現(xiàn)更快的推理和更低的內(nèi)存占用。
數(shù)據(jù)
研究人員在包含8萬億個token的預訓練數(shù)據(jù)集上訓練Nemotron-4 15B。
分為三種不同類型的數(shù)據(jù)：英語自然語言數(shù)據(jù)（70%）、多語言自然語言數(shù)據(jù)（15%）和源代碼數(shù)據(jù)（15%）。
英語語料庫由來自各種來源和領(lǐng)域的精選文檔組成，包括網(wǎng)絡(luò)文檔、新聞文章、科學論文、書籍等。
代碼和多語言數(shù)據(jù)包括一組多樣化的自然語言和編程語言。
研究人員發(fā)現(xiàn)，從這些語言中適當?shù)夭蓸觮oken是在這些領(lǐng)域獲得高準確度的關(guān)鍵。
此外，研究人員分別在圖3和圖4中共享預訓練數(shù)據(jù)集中用于代碼和多語言標記的分布。
預訓練
Nemotron-4使用384個DGX H100節(jié)點進行訓練。每個節(jié)點包含8個基于英偉達Hopper架構(gòu)的H100 80GB SXM5 GPU。
在執(zhí)行無稀疏性的16位浮點（bfloat16）算術(shù)時，每個H100 GPU的峰值吞吐量為989 teraFLOP/s。
每個節(jié)點內(nèi)，GPU通過NVLink和NVSwitch（nvl）連接；GPU到GPU的帶寬為900 GB/s（每個方向450 GB/s）。
每個節(jié)點都有8個NVIDIA Mellanox 400 Gbps HDR InfiniBand主機通道適配器（HCA），用于節(jié)點間通信。
研究人員使用8路張量并行和數(shù)據(jù)并行的組合來訓練模型，還使用了分布式優(yōu)化器，將優(yōu)化器狀態(tài)分片到數(shù)據(jù)并行副本上。隨著批大小的增加，數(shù)據(jù)并行度從96增加到384。
表2總結(jié)了批大小提升的3個階段，包括每次迭代時間和模型FLOP/s利用率（MFU）。MFU量化了GPU在模型訓練中的利用效率。訓練大約在13天內(nèi)完成。
再訓練
與最近的研究類似，研究人員發(fā)現(xiàn)在模型訓練結(jié)束時，切換數(shù)據(jù)分布和學習率衰減時間表，可以極大地提高模型質(zhì)量。
具體來說，在對整個8T預訓練數(shù)據(jù)集進行訓練之后，使用相同的損失目標，并對與預訓練token相比的較少的token進行持續(xù)訓練。
在這一額外的繼續(xù)訓練階段，利用兩種不同的數(shù)據(jù)分布。
第一個分布是，從持續(xù)訓練期間大部分token采樣。它利用在預訓練期間已經(jīng)引入的token，但其分布將更大的采樣權(quán)重放在更高質(zhì)量來源上。
第二個分布，引入了少量基準式對齊示例，以更好地讓模型在下游評估中回答此類問題，同時還增加來自模型性能較低區(qū)域的數(shù)據(jù)源的權(quán)重。
實驗結(jié)果
研究人員在涵蓋各種任務(wù)和領(lǐng)域的下游評估領(lǐng)域評了 Nemotron-4 15B。
常識推理
作者使用LM-Evaluation Harness在所有上述任務(wù)中評估Nemotron-4 15B。
表3顯示了Nemotron-4 15B在這組不同的任務(wù)中實現(xiàn)了最強的平均性能。
熱門的綜合基準
從表4可以看出，Nemotron-4 15B在現(xiàn)有模型中獲得了BBH的最佳分數(shù)，增長了近7%。
此外，Nemotron-4在BBH基準測試中明顯優(yōu)于LLaMA-2 70B模型，其中LLaMA-2 70B的得分為51.2，Nemotron-4的得分為58.7。
Nemotron-4 15B另外還獲得了極具競爭力的MMLU分數(shù)。
數(shù)學和代碼
表5重點介紹了Nemotron-4 15B在數(shù)學和代碼任務(wù)上的性能。
具體來說，在數(shù)學推理上，Nemotron-4 15B表現(xiàn)強勁，得分與Gemma 7B相似，但落后于Baichuan-2和QWEN等模型。
在代碼任務(wù)中，Nemotron-4的性能與QWEN 14B相當，但略落后于Gemma 7B。
在這兩種類型的任務(wù)中，Nemotron-4 15B的性能均優(yōu)于Mistral 7B和LlaMA-213B/34B。
幾乎所有類似規(guī)模的開放模型都只根據(jù)Python相關(guān)任務(wù)的性能來確定其代碼能力，而忽略了對其他編程語言能力的評估。
在表6中，展示了Nemotron-4 15B在Multiple-E基準上的結(jié)果，涉及11種不同的編程語言。
結(jié)果發(fā)現(xiàn)，Nemotron-4 15B在各種編程語言中都有很強的編碼性能，平均性能優(yōu)于Starcoder和Mistral 7B。
研究人員特別強調(diào)了Nemotron-4 15B在Scala、Julia和R等低資源編程語言上的卓越性能。
多語言
分類
在表7中，可以清楚地看到Nemotron-4在所有模型中實現(xiàn)了最佳性能，在4次設(shè)置中實現(xiàn)了近12%的改進。
生成
表8顯示Nemotron-4 15B實現(xiàn)了最佳性能。
令人印象深刻的是，Nemotron-4 15B能夠顯著改進下一個最佳模型PaLM 62B-cont。
表9顯示了MGSM上的性能，進一步證明了Nemotron-4 15B令人印象深刻的多語言能力。
在這項評估數(shù)學和多語言能力交集的挑戰(zhàn)性任務(wù)中，Nemotron-4 15B在比較模型中實現(xiàn)了最佳性能，并且比最接近的分數(shù)提高了近30%。
機器翻譯
如表10所示，Nemotron-4 15B的性能遠遠優(yōu)于LLaMA-2 13B和Baichuan-2 13B，性能分別提高了90.2%和44.1%。
Nemotron-4 15B不僅在中文翻譯成英文方面表現(xiàn)出色，而且在中文直接翻譯成其他語言方面也能取得令人印象深刻的效果。
這種能力凸顯了Nemotron-4 15B對廣泛的自然語言的深刻理解。
