本文由中國人民大學(xué)高瓴人工智能學(xué)院李崇軒、文繼榮教授團隊和螞蟻集團共同完成。共同一作聶燊和朱峰琪是中國人民大學(xué)高瓴人工智能學(xué)院的博士生，導(dǎo)師為李崇軒副教授，論文為二者在螞蟻實習(xí)期間完成。螞蟻集團張曉露、胡俊，人民大學(xué)林衍凱、李崇軒為共同項目負責(zé)人。李崇軒副教授為唯一通訊作者。LLaDA 基于李崇軒課題組的前期工作 RADD [1] 和 SMDM [2]。目前這兩篇論文均已被 ICLR2025 接收。

近年來，大語言模型（LLMs）取得了突破性進展，展現(xiàn)了諸如上下文學(xué)習(xí)、指令遵循、推理和多輪對話等能力。目前，普遍的觀點認為其成功依賴于自回歸模型的「next token prediction」范式。這種方法通過預(yù)測下一個詞的方式拆解語言聯(lián)合概率，形式化如下：

最近，人大高瓴李崇軒、文繼榮團隊和螞蟻集團的研究員提出了一種新的洞察：大語言模型展現(xiàn)的語言智能（如上下文學(xué)習(xí)、指令遵循、推理和多輪對話等能力）并非自回歸機制獨有，而在于背后所遵循的生成建模原則，即通過最大似然估計（或最小化 KL 散度）來逼近真實語言分布。

正是基于這一理念，團隊開發(fā)了 LLaDA（Large Language Diffusion with mAsking）—— 一種基于掩碼擴散模型的語言生成方法。與傳統(tǒng)自回歸模型不同，LLaDA 采用了前向掩碼加噪和反向去噪的機制，不僅突破了單向生成的局限，還通過優(yōu)化似然下界，提供了一種不同于自回歸的、原理嚴謹?shù)母怕式７桨浮?/span>

通過大規(guī)模實驗，LLaDA 8B 在可擴展性、下游語言任務(wù)中全面媲美現(xiàn)代大語言模型，如 Llama3 8B。這些結(jié)果一定程度上表明，LLMs 的核心能力（如可擴展性、上下文學(xué)習(xí)和指令遵循）并非自回歸模型獨有，而是源自于合理的生成建模策略和充分的模型數(shù)據(jù)規(guī)模。LLaDA 不僅提出了一種新的大語言模型的概率建模框架，也有助于我們進一步理解語言智能。

• 論文鏈接：https://arxiv.org/abs/2502.09992
• 項目地址：https://ml-gsai.github.io/LLaDA-demo/
• 代碼倉庫：https://github.com/ML-GSAI/LLaDA

團隊預(yù)計近期開源推理代碼和 LLaDA 8B Base 權(quán)重，后續(xù)還將開源 LLaDA 8B Instruct 權(quán)重。

性能展示

卓越的可擴展性。在多個語言任務(wù)上，LLaDA 和自回歸模型基線進行了嚴格對比。實驗表明，在相同的數(shù)據(jù)條件下，LLaDA 在 MMLU、GSM8K 等多個任務(wù)上展現(xiàn)了與自回歸模型相當(dāng)?shù)谋憩F(xiàn)，證明了其在高計算成本下的強大擴展能力。即使在某些相對薄弱的任務(wù)上，隨著模型規(guī)模的增大，LLaDA 也能迅速縮小與自回歸模型之間的性能差距。

出色的上下文學(xué)習(xí)與指令遵循能力。在涵蓋 15 個熱門基準測試（包括通用任務(wù)、數(shù)學(xué)、代碼及中文任務(wù)）的評測中，預(yù)訓(xùn)練了 2.3T tokens 的 LLaDA 8B Base 模型憑借強大的 zero/few-shot 學(xué)習(xí)能力，整體表現(xiàn)超越了 LLaMA2 7B Base （預(yù)訓(xùn)練 tokens 2T），并與 LLaMA3 8B Base （預(yù)訓(xùn)練 tokens 15T）媲美。在經(jīng)過監(jiān)督微調(diào)（SFT）后，LLaDA 的指令遵循能力得到了顯著提升，能在多輪對話及跨語種生成任務(wù)中保持連貫性和高質(zhì)量輸出，充分展現(xiàn)了其對復(fù)雜語言指令的良好理解和響應(yīng)能力。

下圖是在一些熱門基準上 LLaDA 和 LLaMA3 以及 LLaMA2 的性能對比，詳細結(jié)果請參見論文。

平衡的正向與逆向推理能力。傳統(tǒng)自回歸模型在逆向推理任務(wù)中常常存在「逆向詛咒」[3] 問題，好比當(dāng)模型在「A is B」數(shù)據(jù)上訓(xùn)練之后無法回答「B is A」。而 LLaDA 則通過雙向的概率建模機制，有效克服了這一局限。在詩歌補全任務(wù)中，LLaDA 在正向生成與逆向生成上均取得了均衡表現(xiàn)，尤其在逆向任務(wù)中明顯超越了 GPT-4o 和其他對比模型，展現(xiàn)了強大的逆向推理能力。

多場景下的實際應(yīng)用效果。除了標(biāo)準測試指標(biāo)外，我們在多輪對話、數(shù)學(xué)題解和跨語言文本生成等實際應(yīng)用場景中也看到了 LLaDA 的出色表現(xiàn)。無論是復(fù)雜問題求解、指令翻譯，還是創(chuàng)意詩歌生成，LLaDA 都能準確把握上下文并生成流暢、合理的回答，充分驗證了其在非自回歸生成模式下的應(yīng)用前景。

下圖是 LLaDA 在回答用戶提問的一個例子，用戶輸入的 prompt 是「Explain what artificial intelligence is」。LLaDA 采取了一種不同于自回歸模型從左到右的生成方式。

下圖是 LLaDA 同用戶進行多輪對話的場景。LLaDA 不僅正確回答了詩歌《未選擇的路》的前兩句，而且成功將英文翻譯成中文和德語，并且按照用戶要求創(chuàng)作了一首五行，且每一行均以字母 C 開頭的詩歌。

核心方法

下圖展示了 LLaDA 的預(yù)訓(xùn)練、監(jiān)督微調(diào)以及采樣過程。

概率建?？蚣?。LLaDA 通過前向過程和反向過程來定義模型分布。在前向過程中，對文本中的 tokens 進行逐步獨立掩碼，直到在 t=1 時整個序列被完全掩碼。當(dāng)時，序列是部分掩碼的，每個 token 有概率 t 被掩碼，或者以概率 1-t 保留原樣。而反向過程則通過在 t 從 1 逐步減小到 0 的過程中反復(fù)預(yù)測被掩碼的 tokens，從而恢復(fù)出數(shù)據(jù)分布。LLaDA 的核心是一個參數(shù)化的掩碼預(yù)測器，其訓(xùn)練目標(biāo)僅對被掩碼部分計算交叉熵損失：

前期工作 [2] 已證明該目標(biāo)函數(shù)為負對數(shù)似然的上界，從而為生成建模提供了嚴格的理論依據(jù)。

預(yù)訓(xùn)練。LLaDA 使用 Transformer 作為掩碼預(yù)測器，并且不采用因果掩碼，從而能夠利用全局信息進行預(yù)測。預(yù)訓(xùn)練在 2.3 萬億 tokens 的數(shù)據(jù)上進行，這些數(shù)據(jù)涵蓋通用文本、代碼、數(shù)學(xué)以及多語言內(nèi)容。對于每個訓(xùn)練序列 ，先隨機采樣 ，然后以相同概率 t 對每個 token 進行獨立掩碼得到 ，并通過蒙特卡羅方法估計目標(biāo)函數(shù)進行優(yōu)化。為增強對變長數(shù)據(jù)的處理能力，部分數(shù)據(jù)采用了隨機長度。LLaDA 采用 Warmup-Stable-Decay 學(xué)習(xí)率調(diào)度器和 AdamW 優(yōu)化器，設(shè)置總批量大小為 1280（每 GPU 4）。

監(jiān)督微調(diào)（SFT）。為了提升模型的指令遵循能力，LLaDA 在監(jiān)督微調(diào)階段使用成對數(shù)據(jù)進行訓(xùn)練，其中為提示，為響應(yīng)。在 SFT 中保持提示  不變，對響應(yīng)  進行獨立掩碼生成 ，然后計算如下?lián)p失：

其中為響應(yīng)的動態(tài)長度。整個過程與預(yù)訓(xùn)練一致，只是所有被掩碼的 token 均來自響應(yīng)部分。SFT 在 450 萬對數(shù)據(jù)上進行，使用類似預(yù)訓(xùn)練的學(xué)習(xí)率調(diào)度和優(yōu)化器設(shè)置。

推斷。給定提示  ，模型從完全掩碼的響應(yīng)開始，通過離散化的反向過程逐步恢復(fù)文本。在每一步，模型預(yù)測所有被掩碼 token 后，會按一定比例對部分預(yù)測結(jié)果進行再掩碼，以保證反向過程與前向過程一致。對于條件似然評估，LLaDA 使用了下面這個和等價但是方差更小的目標(biāo)函數(shù)：

其中 l 是從 中均勻采樣得到，是通過從 中不放回地均勻采樣 l  個 token 進行掩碼得到。

總結(jié)

擴散語言模型 LLaDA 首次展示了通過前向掩碼加噪與反向去噪機制，同樣可以實現(xiàn)大語言模型的核心能力。實驗表明，LLaDA 在可擴展性、上下文學(xué)習(xí)和指令遵循等方面表現(xiàn)優(yōu)異，具備與傳統(tǒng)自回歸模型相媲美甚至更優(yōu)的性能，同時其雙向生成與增強的魯棒性有效突破了自回歸建模的固有限制，從而挑戰(zhàn)了「大語言模型的智能必然依賴自回歸生成」的傳統(tǒng)觀念。