強(qiáng)化學(xué)習(xí)（Reinforcement Learning, RL）已成為提升大型語(yǔ)言模型（Large Language Models, LLMs）推理能力的重要技術(shù)手段，特別是在需要復(fù)雜推理的任務(wù)中。DeepSeek 團(tuán)隊(duì)在 DeepSeek-Math [2] 和 DeepSeek-R1 [3] 模型中的突破性成果，充分展示了強(qiáng)化學(xué)習(xí)在增強(qiáng)語(yǔ)言模型數(shù)學(xué)推理和問(wèn)題解決能力方面的巨大潛力。

這些成果的取得源于一種創(chuàng)新性的強(qiáng)化學(xué)習(xí)方法——群組相對(duì)策略優(yōu)化（Group Relative Policy Optimization, GRPO）。該方法有效解決了將強(qiáng)化學(xué)習(xí)應(yīng)用于語(yǔ)言模型時(shí)面臨的特殊挑戰(zhàn)。本文將深入分析 GRPO 的工作機(jī)制及其在語(yǔ)言模型訓(xùn)練領(lǐng)域的重要技術(shù)突破，并探討其在實(shí)際應(yīng)用中的優(yōu)勢(shì)與局限性。

PPO 與 GRPO 的對(duì)比分析

近鄰策略優(yōu)化（Proximal Policy Optimization, PPO）[1] 一直是語(yǔ)言模型強(qiáng)化學(xué)習(xí)微調(diào)的主流算法。PPO 的核心是一種策略梯度方法，通過(guò)裁剪（clipping）機(jī)制來(lái)限制策略更新的幅度，從而防止策略發(fā)生過(guò)大的破壞性變化。PPO 的目標(biāo)函數(shù)可表示為：

GRPO 首次在文獻(xiàn) [2] 中提出，它在 PPO 的基礎(chǔ)上引入了多項(xiàng)關(guān)鍵創(chuàng)新，使其在語(yǔ)言模型訓(xùn)練中具有更高的效率和適用性：

1. 無(wú)需價(jià)值網(wǎng)絡(luò)，顯著降低了內(nèi)存占用和計(jì)算開(kāi)銷(xiāo)
2. 采用群組采樣方法，實(shí)現(xiàn)更高效且穩(wěn)定的優(yōu)勢(shì)估計(jì)
3. 通過(guò)強(qiáng)化目標(biāo)函數(shù)和獎(jiǎng)勵(lì)的懲罰機(jī)制，實(shí)現(xiàn)更保守的策略更新

更詳細(xì)的對(duì)比：

GRPO 技術(shù)深析

語(yǔ)言模型作為策略網(wǎng)絡(luò)

在 GRPO 框架中，語(yǔ)言模型充當(dāng)策略網(wǎng)絡(luò)（actor），將問(wèn)題 q 作為輸入觀察 s，輸出一系列詞元（tokens）作為動(dòng)作。策略分布在詞元序列上進(jìn)行分解：

注： 原始論文 [2] 使用 o_t 表示時(shí)間步 t 的輸出詞元，而本文采用 a_t 以符合強(qiáng)化學(xué)習(xí)中動(dòng)作的標(biāo)準(zhǔn)記號(hào)。

序列化詞元生成

基于 Transformer 架構(gòu)和語(yǔ)言模型的自回歸特性，生成過(guò)程具有嚴(yán)格的序列性：

1. 每個(gè)詞元的生成都依賴于之前生成的詞元序列
2. 策略網(wǎng)絡(luò)（語(yǔ)言模型）維護(hù)持續(xù)更新的上下文信息
3. 每個(gè)詞元生成步驟都可視為強(qiáng)化學(xué)習(xí)框架中的一個(gè)動(dòng)作 a_t

獎(jiǎng)勵(lì)計(jì)算與優(yōu)勢(shì)估計(jì)

GRPO 對(duì)每個(gè)生成序列中的詞元獎(jiǎng)勵(lì)計(jì)算如下：

GRPO 摒棄了傳統(tǒng)的價(jià)值網(wǎng)絡(luò)，轉(zhuǎn)而通過(guò)對(duì)參考策略產(chǎn)生的多個(gè)輸出樣本進(jìn)行群組獎(jiǎng)勵(lì)歸一化來(lái)估計(jì)基線優(yōu)勢(shì)值 A。這些輸出樣本都是針對(duì)同一輸入問(wèn)題生成的：

1. 群組采樣： 對(duì)于每個(gè)問(wèn)題，使用舊策略生成多個(gè)不同的輸出序列。
2. 獎(jiǎng)勵(lì)計(jì)算： 計(jì)算每個(gè)輸出序列的累積獎(jiǎng)勵(lì)。
3. 獎(jiǎng)勵(lì)歸一化： 對(duì)群組內(nèi)的獎(jiǎng)勵(lì)進(jìn)行歸一化處理，例如減去均值并除以標(biāo)準(zhǔn)差。
4. 優(yōu)勢(shì)估計(jì)： 使用歸一化后的獎(jiǎng)勵(lì)作為優(yōu)勢(shì)函數(shù)的估計(jì)值。

GRPO 目標(biāo)函數(shù)

對(duì)于每個(gè)問(wèn)題 ??，GRPO 從舊策略 ?????????? 中采樣一組輸出 {??1, ??2, · · · , ????}，然后通過(guò)最大化 GRPO 目標(biāo)函數(shù)來(lái)優(yōu)化策略模型。完整的 GRPO 目標(biāo)函數(shù)綜合了以下要素：

該目標(biāo)函數(shù)的特點(diǎn)：

1. 同時(shí)在群組和序列長(zhǎng)度維度上進(jìn)行平均
2. 使用裁剪機(jī)制確保策略更新的保守性
3. 引入 KL 散度估計(jì)作為懲罰項(xiàng)，防止策略與參考模型產(chǎn)生過(guò)大偏離

目標(biāo)函數(shù)的詳細(xì)解釋：

• 第一項(xiàng)： 策略梯度項(xiàng)，鼓勵(lì)模型生成更高獎(jiǎng)勵(lì)的動(dòng)作序列。
• 第二項(xiàng)： 裁剪項(xiàng)，限制策略更新的幅度，防止策略崩潰。
• 第三項(xiàng)： KL 散度懲罰項(xiàng)，防止新策略與舊策略偏離過(guò)大，保證訓(xùn)練的穩(wěn)定性。

GRPO 的優(yōu)勢(shì)與局限性

優(yōu)勢(shì)：

• 高效性： 無(wú)需價(jià)值網(wǎng)絡(luò)，降低了計(jì)算和內(nèi)存開(kāi)銷(xiāo)。
• 穩(wěn)定性： 群組采樣和 KL 散度懲罰提高了訓(xùn)練的穩(wěn)定性。
• 適用性： 特別適用于大規(guī)模語(yǔ)言模型的微調(diào)。

局限性：

• 對(duì)參考策略的依賴： GRPO 的性能受到參考策略質(zhì)量的影響。
• 超參數(shù)敏感： 目標(biāo)函數(shù)中的超參數(shù)（如裁剪范圍和 KL 散度系數(shù)）需要仔細(xì)調(diào)整。
• 理論分析的缺乏： 相比于 PPO，GRPO 的理論分析還不夠完善。

實(shí)際應(yīng)用案例

DeepSeek-Math 和 DeepSeek-R1 是 GRPO 在實(shí)際應(yīng)用中的成功案例。這些模型在數(shù)學(xué)推理和問(wèn)題解決能力方面取得了顯著的提升，證明了 GRPO 在增強(qiáng)語(yǔ)言模型推理能力方面的有效性。

DeepSeek-Math: 通過(guò) GRPO 訓(xùn)練，DeepSeek-Math 在數(shù)學(xué)問(wèn)題解決能力上超越了許多其他大型語(yǔ)言模型。

DeepSeek-R1: DeepSeek-R1 利用 GRPO 提高了在復(fù)雜推理任務(wù)中的表現(xiàn)，例如閱讀理解和邏輯推理。

總結(jié)

GRPO 在將強(qiáng)化學(xué)習(xí)應(yīng)用于語(yǔ)言模型方面取得了重要突破。通過(guò)取消價(jià)值網(wǎng)絡(luò)依賴并引入群組相對(duì)優(yōu)勢(shì)估計(jì)，該方法實(shí)現(xiàn)了更高效和穩(wěn)定的訓(xùn)練過(guò)程。DeepSeek-Math 和 DeepSeek-R1 的成功實(shí)踐充分驗(yàn)證了這種方法的實(shí)際效果。

GRPO 的核心創(chuàng)新——群組采樣、相對(duì)優(yōu)勢(shì)估計(jì)以及價(jià)值網(wǎng)絡(luò)的簡(jiǎn)化——為語(yǔ)言模型訓(xùn)練的未來(lái)發(fā)展提供了重要的技術(shù)參考。隨著語(yǔ)言模型能力邊界的不斷拓展，GRPO 等創(chuàng)新技術(shù)將在充分發(fā)揮語(yǔ)言模型潛力方面發(fā)揮關(guān)鍵作用。未來(lái)的研究方向包括：

• 改進(jìn)優(yōu)勢(shì)估計(jì)方法： 探索更精確和高效的優(yōu)勢(shì)估計(jì)方法。
• 自適應(yīng)超參數(shù)調(diào)整： 開(kāi)發(fā)自動(dòng)調(diào)整 GRPO 超參數(shù)的算法。
• 理論分析： 加強(qiáng)對(duì) GRPO 算法的理論分析，理解其收斂性和泛化能力。