一、NeMo 框架介紹

NVIDIA NeMo 是基于 PyTorch 和 PyTorch Lightning 的一個開源訓(xùn)練框架，源代碼完全公開在 GitHub 上。NeMo 的主要目標(biāo)是使 AI 開發(fā)者能夠快速構(gòu)建對話式 AI 模型并開發(fā)相關(guān)應(yīng)用。

NeMo 工具包主要包括 ASR、NLP 和 TTS 三個領(lǐng)域的模型和功能特性。我們提取了這三個模塊的特性，并在 PyTorch 框架中實現(xiàn)了良好的功能提升，這些提升已經(jīng)集成到 NeMo 的 Core 部分。

• NeMo Core

NeMo Core 模塊為 ASR、NLP 和 TTS 等應(yīng)用提供了通用、便捷且易于使用的構(gòu)建方式，使 AI 開發(fā)者能夠迅速進行模型構(gòu)建和訓(xùn)練。無論是模型構(gòu)建，還是與訓(xùn)練過程相關(guān)的分布式訓(xùn)練、checkpoint 保存以及訓(xùn)練參數(shù)設(shè)置等，都集成在 NeMo Core 模塊中。

• NeMo Collection

基于 NeMo Core 的通用設(shè)計，我們針對對話式 AI 的三個方向 ASR、NLP 和 TTS,分別進行了模型和訓(xùn)練功能的集成，稱為 NeMo Collection，每個 collection 都包含與特定領(lǐng)域相關(guān)的模塊和模型。

• NeMo Megatron

除了針對不同領(lǐng)域的集合（collection），NeMo 還在 NLP 領(lǐng)域特別支持大模型的相關(guān)訓(xùn)練。以前，英偉達有一個流行的大模型訓(xùn)練框架叫做 Megatron LM，后來我們將其中與大模型并行訓(xùn)練相關(guān)的技術(shù)遷移到了 NeMo 中，即 NeMo Megatron 模塊。使得在 NeMo 中進行大模型相關(guān)訓(xùn)練更加方便。

• 可高效使用 GPU

除了對 Speech AI 相關(guān)模型和訓(xùn)練過程的支持，NeMo 還對英偉達 GPU 在整個訓(xùn)練過程中進行了優(yōu)化。這樣在使用 NeMo 進行訓(xùn)練時，可以在英偉達 GPU 上高效地進行訓(xùn)練，大幅縮短整個模型訓(xùn)練的時間。

NeMo 是一個開源工具包，大家可以直接在 GitHub 上查看 NeMo 的開發(fā)文檔和代碼。以上是對 NeMo 的概述，接下來將介紹在 NeMo 中針對 ASR 和 TTS 模型的訓(xùn)練過程。

二、使用 NeMo 處理 ASR 和 TTS 任務(wù)

1. ASR 訓(xùn)練

NeMo 的主要開發(fā)目標(biāo)之一是使 ASR 訓(xùn)練變得非常容易。主要包括三個步驟。

首先是數(shù)據(jù)集的準(zhǔn)備。因為 ASR 訓(xùn)練通常涉及大量音頻數(shù)據(jù)，用戶只需準(zhǔn)備相關(guān)數(shù)據(jù)集，并提供一個符合 NeMo 格式的數(shù)據(jù)集 manifest 文件即可。在這個 manifest 文件中，用戶需要指定每條數(shù)據(jù)的音頻文件路徑以及對應(yīng)的文本。有了這個 jsonl 格式的數(shù)據(jù)集文件后，用戶就可以通過 NeMo 的配置文件指定訓(xùn)練過程中的相關(guān)配置參數(shù)。

上圖中綠色方框展示了 NeMo 中使用的配置文件示例，主要需要指定訓(xùn)練、驗證和測試數(shù)據(jù)集，批處理大小、優(yōu)化器、GPU 數(shù)量、訓(xùn)練時長和數(shù)據(jù)精度等參數(shù)，以及保存 checkpoint 的位置和方法等。這些通常是訓(xùn)練過程中需要指定的參數(shù)。

準(zhǔn)備好數(shù)據(jù)集的 jsonl 文件和相應(yīng)的配置文件后，就可以在 NeMo 中進行 ASR 訓(xùn)練了。在 NeMo 的 example 文件夾下，提供了 ASR 的訓(xùn)練腳本，例如 speech to text 的 CTC 模型訓(xùn)練腳本。只需在命令行中運行這個腳本并配置相應(yīng)的配置文件即可。

總的來說，在 NeMo 中進行 ASR 訓(xùn)練非常簡單，已經(jīng)為大家準(zhǔn)備好了相應(yīng)的訓(xùn)練腳本，只需配置數(shù)據(jù)集和配置文件即可。

在 NeMo 中，針對語音方面，不僅提供了豐富的 ASR 模型訓(xùn)練示例供大家直接使用，還準(zhǔn)備了許多其他與 ASR 或語音相關(guān)的任務(wù)的訓(xùn)練腳本，使大家能夠輕松地使用 NeMo 進行各種語音處理任務(wù)，包括語音預(yù)訓(xùn)練、VAD 檢測、語音翻譯以及語音分類等。與 ASR 訓(xùn)練過程類似，只需在 NeMo 的示例文件夾中找到相應(yīng)的語音處理任務(wù)的訓(xùn)練腳本，準(zhǔn)備好數(shù)據(jù)集，進行配置文件的設(shè)置，就可以開始語音任務(wù)的訓(xùn)練。

除了提供現(xiàn)成的 ASR 和其他語音處理任務(wù)的訓(xùn)練腳本，為了進一步方便大家進行 ASR 或其他語音任務(wù)的開發(fā)，NeMo 中還增加了對預(yù)訓(xùn)練 ASR 模型的支持。

這樣可以直接在 NeMo 中加載這些預(yù)訓(xùn)練好的 ASR 模型進行進一步的微調(diào)，或者在某些情況下進行推理應(yīng)用。這些預(yù)訓(xùn)練模型保存在 NVIDIA GPU Cloud 上，用戶可以在 NVIDIA GPU Cloud 網(wǎng)站上注冊賬號，然后在 NeMo 中下載和使用這些模型。英偉達為用戶提供了許多預(yù)訓(xùn)練好的 ASR 模型：

• 涵蓋多種語言：英語、法語、意大利語、西班牙語、中文、德語等。
• 不同的模型結(jié)構(gòu)：囊括了業(yè)界流行的各種 ASR 模型結(jié)構(gòu)，如 Fastconformer、Squeezeformer，以及一些 CTC、Transducer、不同的損失函數(shù)等等。
• 預(yù)訓(xùn)練語音任務(wù)：除了 ASR 模型，英偉達還在 NGC 上為用戶提供了其他一些語音任務(wù)（語音分類任務(wù)、說話人識別任務(wù)等）的預(yù)訓(xùn)練 checkpoint，用戶可以直接下載并使用。

英偉達提供的這些開源 ASR 模型在 NeMo 中可以直接使用，并且它們都展現(xiàn)出非常出色的語音識別效果。

這張圖中截取了最新的 HuggingFace Audio Open ASR Leaderboard 上的結(jié)果。

通過這張表，大家可以發(fā)現(xiàn)排名前幾位的 ASR 模型中有數(shù)個來自英偉達，它們采用了不同的結(jié)構(gòu)和損失函數(shù)，例如 Fastconformer、Conformer、CTC 和 Transducer，代表了模型的多樣性。

無論采用何種模型結(jié)構(gòu)和損失函數(shù)，這些模型在 Leaderboard 上都取得了非常好的性能，包括平均詞錯誤率（WER）和實時率（RTF）。因此，歡迎大家使用 NeMo 框架，從英偉達的 NGC 上下載這些預(yù)訓(xùn)練 ASR 模型，在 NeMo 中進行進一步的微調(diào)或推理應(yīng)用。

業(yè)界一些最新的 ASR 模型，NeMo 中都提供了支持，例如常見的 Conformer 和最新的 Fastconformer、Squeezeformer 等模型結(jié)構(gòu)，在 NeMo 中都有現(xiàn)成的模型配置和相應(yīng)的預(yù)訓(xùn)練 checkpoint 供下載使用。

在解碼器和損失函數(shù)方面，NeMo 實現(xiàn)了常見的算法，包括 CTC、RNNT、Transduser 等，還包括 CTC 和 RNN transducer 混合的損失計算。此外，針對傳統(tǒng)的 CTC，NeMo 提出了多種變種實現(xiàn)方式，其中一些更適用于流式語音識別，能夠提高識別精度和流式識別效果。

對于英偉達最新的 ASR 研究成果，NeMo 也提供了支持。這里介紹兩個最新的研究成果。

首先是 Multi-blank Transducer 算法，相對于傳統(tǒng)的 Transducer 算法，引入了一個能夠代表多個 blank 的新符號，通過這個符號可以表示語音中多個幀的空白幀。這種表示方式可以顯著提升推理時的計算速度，并可在多個測試集上提高識別精度。

另一個是 Token and Duration Transducers 算法，它是針對傳統(tǒng)的 RNN transducer 的一種改進方法，可以同時預(yù)測每一幀的 token 和 duration。這種方式，通過額外的 duration 信息，可以提升 transducer 解碼的速度，并提供更準(zhǔn)確的識別精度。

對于這兩項新的英偉達在 ASR 方面的研究工作感興趣的同學(xué)，可以詳細閱讀這兩篇工作，相應(yīng)的代碼實現(xiàn)也可以在 NeMo 中找到。歡迎大家在 NeMo 中嘗試這兩個來自英偉達的最新 ASR 的研究成果。

NeMo 中還提供了一些 ASR 訓(xùn)練過程中可能用到的工具，其中值得一提的一個工具是 Speech Data Explorer。

Speech Data Explorer 的主要作用是方便用戶對其語音訓(xùn)練數(shù)據(jù)進行分析和理解?？梢詫φ麄€數(shù)據(jù)集的文本信息進行統(tǒng)計，生成音頻頻譜的直方圖。并且可以對其音頻數(shù)據(jù)集進行詳細分析，包括觀察其視圖形狀、頻譜信息，并帶有一個音頻播放器，用戶可以通過該音頻播放器聆聽該音頻的實際聲音。同時，還可以對訓(xùn)練結(jié)果進行分析。使用 NeMo 進行模型訓(xùn)練時，在訓(xùn)練過程中可能會生成一些測試結(jié)果文件。這些結(jié)果文件也可以通過 Speech Data Explorer 導(dǎo)入，使用戶能夠方便地對模型訓(xùn)練過程中的結(jié)果進行分析，包括計算識別錯誤率，顯示識別結(jié)果等。

2. 對 TTS 任務(wù)的支持

通常，TTS 模型的訓(xùn)練涉及多個模塊，如上圖右側(cè)圖所示，其中包括文本歸一化模塊、G2P 模塊（將文本轉(zhuǎn)換為發(fā)音單元或音素）以及頻譜生成和波形生成模塊。

NeMo 對 TTS 整個訓(xùn)練 pipeline 的各個模塊都提供了良好的支持：

• 模型：NeMo 支持業(yè)界常見的頻譜生成模型，如 FastPitch、RAD-TTS 模型和 Tacotron2 模型。
• 聲碼器：NeMo 支持 Hifi-GAIN 模型、UnivNet 模型和 WaveGlow 模型。
• 開源模型：在 NeMo 中還有一些由其他開發(fā)者貢獻的開源模型實現(xiàn)，其中包括端到端模型 VITS，它結(jié)合了頻譜生成和聲碼器兩種模型的共同訓(xùn)練，以實現(xiàn)更好的音頻生成效果。
• 預(yù)訓(xùn)練模型：NeMo 還在英偉達的 NGC 上為用戶提前準(zhǔn)備了一些預(yù)訓(xùn)練的 checkpoint，用戶可以直接在 NeMo 中加載并用于推理或進一步調(diào)優(yōu)。

三、NeMo 對 NLP 和 LLM 的支持

NeMo 支持多種 NLP 訓(xùn)練任務(wù)和 LLM 訓(xùn)練。尤其是大模型訓(xùn)練相關(guān)的功能在今年有了很大的改進。

支持的 NLP 任務(wù)包括：機器翻譯、標(biāo)點模型、標(biāo)記分類，以及意圖和槽位識別等。

支持大模型訓(xùn)練：引入了高效的模型并行方法、分布式優(yōu)化實現(xiàn)、混合精度等特性，以提高在 GPU 上訓(xùn)練大模型的效率，以及支持微調(diào)功能。

1. 3D 模型并行訓(xùn)練

為了高效訓(xùn)練大模型，我們提供了一種 3D 模型并行的方法。

所謂的 3D 指的是三個不同維度的并行：Tensor Parallelism、Pipeline Parallelism 和 Sequence Parallelism。通過這些不同的模型并行方式，可以在多個 GPU 上加載大型模型，實現(xiàn)更大規(guī)模的 LLM 訓(xùn)練。通過這種高效且特殊優(yōu)化的實現(xiàn)，即使在使用成百上千的 GPU 進行大型模型訓(xùn)練時，NeMo 也能保持高效的訓(xùn)練效率。

在使用 NeMo 進行大型模型訓(xùn)練時，訓(xùn)練效率能夠?qū)崿F(xiàn)近似于線性的并行效率提升。

在進行大型模型訓(xùn)練時，訓(xùn)練所需的時間與使用的 GPU 數(shù)量成反比。無論是訓(xùn)練較小的 5B 模型還是最大的 175B 模型，其在成百個 GPU 上的模型并行效率都非常高，訓(xùn)練時間基本上與使用的 GPU 數(shù)量成反比。也就是說，當(dāng) GPU 數(shù)量翻倍時，NeMo 可以確保達到訓(xùn)練時間減半的效果。這展示了 NeMo 在針對大型模型訓(xùn)練方面的高效算法和實現(xiàn)。

2. NeMo 中的預(yù)訓(xùn)練大模型

在 NeMo 中，提供了預(yù)訓(xùn)練的大模型，使用戶能夠在一些場景中直接在這些預(yù)訓(xùn)練好的大模型的 checkpoint 上進行進一步地使用或微調(diào)等工作。

目前，在 NeMo 中，開源了一系列不同階段訓(xùn)練手段產(chǎn)生的 8B 大小的大模型，包括 Nemotron 8B 不同版本的模型。這些版本包括從預(yù)訓(xùn)練而來的基礎(chǔ)模型，經(jīng)過指令微調(diào)的 SFT 模型，以及經(jīng)過強化學(xué)習(xí)對齊人類偏好的版本。此外，還有通過我們英偉達提出的 SteerLM 對齊方法對齊的版本。我們還提供了 QA 版本的模型，以進行額外的優(yōu)化。

這一系列 8B 的 checkpoint 都是在包含大約 3.5T token 的大規(guī)模數(shù)據(jù)上訓(xùn)練得到的，訓(xùn)練數(shù)據(jù)涵蓋了約 53 種人類語言和約 37 種編程語言。這些 8B 的模型都可以從英偉達的 NGC 網(wǎng)站或 HuggingFace 上下載獲取。

NeMo 中還提供了一個名為"Llama2-70B-SteerLM-Chat"的開源模型。這個模型基于開源的 Llama2-70B 模型，在其基礎(chǔ)上使用了英偉達提出的 SteerLM 的對齊方式，進行了基于人類反饋的進一步微調(diào)。

通過 SteerLM 的對齊微調(diào)，我們發(fā)現(xiàn)相對于原始的 Llama2-70B CHAT 模型，它在 MT-Bench Leaderboard 上取得了更高的分數(shù)，表現(xiàn)更好。這個模型也已經(jīng)開源，可以在 HuggingFace 上找到，您可以從 HuggingFace 下載并加載到 NeMo 中使用，或者直接在英偉達的 AI Playground 網(wǎng)站上在線試用。

關(guān)于 SteerLM 對齊算法的詳細信息，可以參考相應(yīng)的論文。SteerLM 是一種比強化學(xué)習(xí)更簡單且更易用的對齊方法。

3. NeMo 中的微調(diào)方法

在 NeMo 中還提供了許多用于大型模型微調(diào)的方法。目前在業(yè)界，大型模型微調(diào)的方法可以從簡單到復(fù)雜大致分為四類：

• 最簡單的是直接進行 few-shot 或系統(tǒng)消息的 Prompt Engineering。
• 稍微進一步的是 Prompt Tuning 或 PTuning 的方法，它們會對 Prompt 進行額外的學(xué)習(xí)。
• 更復(fù)雜一些的是 Parameter Efficient Fine-Tuning 的方法，即只對模型新增的一小部分額外權(quán)重進行微調(diào)，包括各種 Adapters 方法或 LoRA 都屬于這種微調(diào)。
• 更進一步的是，為了取得更好的效果，對整個模型進行全參數(shù)微調(diào)，包括 SFT、強化學(xué)習(xí)等。

這些從簡單到復(fù)雜的大型模型微調(diào)方法，目前在 NeMo 中都有很好的支持，可以在NeMo 中加載開源的 Pre-trained checkpoint，并根據(jù)具體場景進行進一步的微調(diào)。

4. NeMo Aligner

前面提到的是一些比較簡單的微調(diào)方法，可以直接在 NeMo 中完成，但對于一些較為復(fù)雜的大模型微調(diào)方法，在 NeMo 中提供了額外的支持，并整合到了 NeMo Aligner 中。

在 NeMo Aligner 中，實現(xiàn)了包括強化學(xué)習(xí)等較為復(fù)雜的全參數(shù)模型微調(diào)方法。通過 NeMo Aligner，我們設(shè)計了高效但稍微復(fù)雜的訓(xùn)練模式，該訓(xùn)練模式能夠確保在成百甚至上千個 GPU 上實現(xiàn)相對高效的微調(diào)計算效率。結(jié)合我們在預(yù)訓(xùn)練時嘗試過的一些模型并行方法，包括 tensor 并行或 pipeline 并行等，通過 NeMo Aligner，我們提供了對這些方法的良好支持。

目前，NeMo Aligner 仍處于早期版本，其中的微調(diào)功能將不斷增加。您可以專門前往 NeMo Aligner 的 GitHub 倉庫，嘗試使用這些更高級或更復(fù)雜的大模型微調(diào)方法。

5. 端到端的大模型開發(fā) - NeMo Framework

剛才提到的無論是 NeMo 還是 NeMo Aligner，都是專注于大模型訓(xùn)練的功能支持。如果我們考慮的更多，整個訓(xùn)練的流程實際上還包括一些前后處理的步驟，包括數(shù)據(jù)處理、模型推理監(jiān)控等等。NVIDIA 提供了相應(yīng)的工具，助力端到端的大模型開發(fā)。這些功能當(dāng)前都集成在 NeMo Framework 框架中。

NeMo Framework 不僅包含模型訓(xùn)練，還包括預(yù)訓(xùn)練時的數(shù)據(jù)處理、訓(xùn)練后的推理加速以及在部署時監(jiān)控模型輸出等等。相較于 NeMo，NeMo Framework 提供了一個更加全面、更加完整的大模型開發(fā)全流程的支持。您可以訪問 NeMo Framework 的網(wǎng)站申請試用。除了對大模型的支持之外，NeMo Framework 還包含對一些流行的多模態(tài)模型的支持，包括 Stable Diffusion、Vision Transformer 等等。當(dāng)前，對于多模態(tài)的支持仍處于早期訪問階段。

四、總結(jié)

簡要總結(jié)一下 NVIDIA 的 NeMo 框架。

NVIDIA NeMo 是一個基于 PyTorch 的開源框架，專注于語音人工智能和大型模型的訓(xùn)練。NeMo 框架提供了多項功能，方便用戶快速構(gòu)建、訓(xùn)練以及進行對話式人工智能模型的微調(diào)。在 NeMo 中，為自動語音識別（ASR）和文本到語音合成（TTS）提供了業(yè)界流行的多個模型和相應(yīng)的算法支持。此外，還提供了許多預(yù)訓(xùn)練的 checkpoint，方便用戶直接下載和使用。

NeMo 框架專注于支持大模型的大規(guī)模訓(xùn)練。通過 NeMo Megatron，確保即使在數(shù)百甚至上千個 GPU 上，大模型的訓(xùn)練過程仍然能夠高效進行。此外，NVIDIA 還開源了一系列大小為 8B 的大模型。同時，針對開源的 Llama2-70B 模型，提供了一個額外的對齊版本，用戶可以在 NVIDIA GPU Cloud（NGC）或 HuggingFace 上下載并嘗試使用。另外，還提供了 NeMo Aligner 工具包，和端到端大模型訓(xùn)練框架 NeMo Framework。

以上就是本次分享的內(nèi)容，謝謝大家。

五、問答環(huán)節(jié)

Q1：Device 和 Epoch 如何設(shè)置大小更合適？

A1：Device 主要是在訓(xùn)練時設(shè)置所使用的 GPU 數(shù)量。通常情況下，我們希望充分利用所有可用的 GPU，以加快訓(xùn)練進程。而 Epoch 的選擇可能更多地取決于數(shù)據(jù)集的大小和模型的規(guī)模。通常，我們會設(shè)置一個初始較大的 Epoch 值，然后在訓(xùn)練過程中通過監(jiān)控訓(xùn)練損失或驗證精度來進行調(diào)整。當(dāng)模型訓(xùn)練趨于收斂時，可以提前結(jié)束訓(xùn)練。

Q2：安裝使用 NeMo 的方式都有哪些？

A2：NeMo 目前是在 GitHub 上以開源形式提供的，因此可以直接在 GitHub 上下載源代碼并進行使用。此外，我們還提供了一個 Python 包，可以通過運行 pip install NeMo 來直接安裝 NeMo 包。另外，英偉達還提供了一些預(yù)先配置好的 Docker 鏡像，可以在 NGC 上直接下載這些 NeMo 的 Docker 鏡像，這樣使用起來也更加方便。

Q3：對電腦的配置要求是多少

A3：因為 NeMo 主要是基于 Pytorch 和 Pytorch Lightning 底層的這個框架去上層進行上層封裝的，所以在一般的英偉達的 GPU 上都是可以去支持的。并沒有其他的過多要求。

Q4：ASR 和 TTS 框架都能用新的數(shù)據(jù)微調(diào)，那模型框架能修改嗎？

A4：不管是 ASR 還是 TTS，您都可以使用英偉達提供的一些預(yù)訓(xùn)練模型，然后在您的新數(shù)據(jù)上進行微調(diào)。此外，如果您希望進行模型框架的更改，也是支持的，不過這個過程可能會稍微復(fù)雜一些。您可能需要在代碼層面手動修改模型的結(jié)構(gòu)，以實現(xiàn)對模型框架的修改。

Q5：NeMo 目前是否適用所有的語言類 NLP 類模型，覆蓋的百分比大概多少？

A5：百分比可能不太容易精確計算，但是 NeMo 框架中支持行業(yè)內(nèi)一些主要的云端模型。在語音領(lǐng)域，包括各種 Conformer 模型以及不同的損失函數(shù)如 CTC 和 transducer 等，都得到了支持。對于自然語言處理（NLP），NeMo 框架在傳統(tǒng)的 NLP 模型上也提供了良好的支持，包括語音翻譯、BERT、Transformer等。

Q6：LLM 模型訓(xùn)練有 baseline 實驗的 pipeline 嗎？

A6：可以參閱 NeMo Framework，在那里面有一個比較完整的針對大模型的baseline 的 pipeline，從數(shù)據(jù)的處理一直到后續(xù)的訓(xùn)練，以及它達到的 loss 情況，還有訓(xùn)練效率的情況等等，在 NeMo Framework 中都可以獲取到。