在過去這半個月里，關(guān)于 DeepSeek 的一切都會迅速成為焦點。

一項非常鼓舞人心的發(fā)現(xiàn)是：DeepSeek-R1-Zero 通過純強化學習（RL）實現(xiàn)了「頓悟」。在那個瞬間，模型學會了自我反思等涌現(xiàn)技能，幫助它進行上下文搜索，從而解決復雜的推理問題。

在 R1-Zero 發(fā)布后的短短幾天內(nèi)，連續(xù)幾個項目都在較小規(guī)模（如 1B 到 7B）上獨立「復制」了類似 R1-Zero 的訓練，并且都觀察到了「頓悟時刻」，這種時刻通常伴隨著響應(yīng)長度的增加。

原文鏈接：https://oatllm.notion.site/oat-zero

最近，來自新加坡 Sea AI Lab 等機構(gòu)的研究者再次梳理了類 R1-Zero 的訓練過程，并在一篇博客中分享了三項重要發(fā)現(xiàn)：

1. 在類似 R1-Zero 的訓練中，可能并不存在「頓悟時刻」。相反，我們發(fā)現(xiàn)「頓悟時刻」（如自我反思模式）出現(xiàn)在 epoch 0，即基礎(chǔ)模型中。

2. 他們從基礎(chǔ)模型的響應(yīng)中發(fā)現(xiàn)了膚淺的自我反思（SSR），在這種情況下，自我反思并不一定會導致正確的最終答案。

3. 仔細研究通過 RL 進行的類 R1-Zero 的訓練，發(fā)現(xiàn)響應(yīng)長度增加的現(xiàn)象并不是因為出現(xiàn)了自我反思，而是 RL 優(yōu)化設(shè)計良好的基于規(guī)則的獎勵函數(shù)的結(jié)果。

以下是博客的內(nèi)容：

Epoch 0 的頓悟時刻

實驗設(shè)置如下：

基礎(chǔ)模型。我們研究了由不同組織開發(fā)的各種基礎(chǔ)模型系列，包括 Qwen-2.5、Qwen-2.5-Math、DeepSeek-Math、Rho-Math 和 Llama-3.x。

提示模板。我們使用 R1-Zero 和 SimpleRL-Zero 中使用的模板直接提示基礎(chǔ)模型：

• 模板 1（與 R1-Zero 相同）

• 模板 2（與 SimpleRL-Zero 相同）

數(shù)據(jù)。我們從 MATH 訓練數(shù)據(jù)集中收集了 500 道題，這些題統(tǒng)一涵蓋了五個難度級別和所有科目，用于填充上述模板中的 {Question}。

生成參數(shù)。我們在 0.1 至 1.0 之間對探索參數(shù)（溫度）進行網(wǎng)格搜索，以便對選定的問題進行模型推理。在所有實驗中，Top P 設(shè)置為 0.9。我們?yōu)槊總€問題生成 8 個回答。

經(jīng)驗結(jié)果

我們首先嘗試了所有模型和提示模板（模板 1 或模板 2）的組合，然后根據(jù)每個模型的指令遵循能力為其選擇了最佳模板，并將其固定用于所有實驗。得出以下結(jié)論：

發(fā)現(xiàn)：「頓悟時刻」出現(xiàn)在 Epoch 0。我們觀察到，所有模型（除了 Llama-3.x 系列）在沒有任何后期訓練的情況下就已經(jīng)表現(xiàn)出了自我反思模式。

我們在下表中列出了所有觀察到的表明自我反思模式的關(guān)鍵詞。請注意，該列表可能并不詳盡。這些關(guān)鍵詞都是經(jīng)過人工驗證的，「等待」等詞被過濾掉了，因為它們的出現(xiàn)并不一定意味著自我反思，而可能是幻覺的結(jié)果。我們注意到，不同的模型會顯示與自我反思相關(guān)的不同關(guān)鍵詞，我們假設(shè)這是受其預訓練數(shù)據(jù)的影響。

圖 1a 展示了在不同基礎(chǔ)模型中引發(fā)自我反思行為的問題數(shù)量。結(jié)果表明，在不同的溫度下都能觀察到自我反思行為，其中一個趨勢是，溫度越高，在 epoch 0 出現(xiàn)「頓悟時刻」的頻率越高。

圖 1b 展示了不同自我反思關(guān)鍵詞的出現(xiàn)次數(shù)。我們可以觀察到，Qwen2.5 系列的基礎(chǔ)模型在產(chǎn)生自我反思行為方面最為活躍，這也部分解釋了為什么大多數(shù)開源的 R1-Zero 復現(xiàn)都是基于 Qwen2.5 模型。

圖 1a. 在不同基礎(chǔ)模型中，500 道數(shù)學問題中引發(fā)自我反思行為的問題數(shù)量。圖 1b. 40,000 個回答中出現(xiàn)的關(guān)鍵詞數(shù)量（500 個問題 × 每個問題 8 個回答 × 10 個溫度）。

在確認「頓悟時刻」確實是在沒有任何訓練的情況下出現(xiàn)在 epoch 0 后，我們想知道它是否如我們所期望的那樣 —— 通過自我反思來糾正錯誤推理。因此，我們直接在 Qwen2.5-Math-7B 基礎(chǔ)模型上測試了 SimpleRL-Zero 博客中使用的例題。令人驚訝的是，我們發(fā)現(xiàn)基礎(chǔ)模型已經(jīng)表現(xiàn)出了合理的自我糾正行為，如圖 2 所示。

圖 2. 我們直接在 Qwen2.5-Math-7B 基本模型上測試了 SimpleRL-Zero 博客中報告的同一問題，發(fā)現(xiàn)「頓悟時刻」已經(jīng)出現(xiàn)。

膚淺的自我反思

盡管圖 2 中的示例顯示了基礎(chǔ)模型通過自我修正 CoT 直接解決復雜推理問題的巨大潛力，但我們發(fā)現(xiàn)并非所有來自基礎(chǔ)模型的自我反思都有效，也并不總能帶來更好的解決方案。為了便于討論，我們將它們稱為膚淺的自我反思（Superficial Self-Reflection，SSR）。

就其定義而言，膚淺的自我反思（SSR）是指模型響應(yīng)中缺乏建設(shè)性修改或改進的重評估模式。與沒有自我反思的響應(yīng)相比，SSR 不一定會帶來更好的答案。

案例研究

為了進一步了解 SSR，我們進行了案例研究，并觀察到 Qwen-2.5-Math-7B 基礎(chǔ)模型響應(yīng)中的四種自我反思模式：

• 行為 1：自我反思，反復檢查以確認正確答案（圖 3a）；
• 行為 2：自我反思，糾正最初錯誤的想法（圖 3b 和圖 2）；
• 行為 3：自我反思，在原本正確的答案中引入錯誤（圖 3c）；
• 行為 4：反復自我反思，但未能得出有效答案（圖 3d）。

其中， 行為 3 和行為 4 是膚淺的自我反思，導致最終答案不正確。

圖 3a：自我反思再三檢查答案，確保正確性。

圖 3b：自我反思糾正最初錯誤的答案。

圖 3c：自我反思在原本正確的答案（x=12）中引入錯誤（x=4）。

圖 3d：反復自我反思卻無法提供有效的答案（無論正確或不正確）。

基礎(chǔ)模型容易出現(xiàn) SSR

接下來，我們分析了 Qwen2.5-Math-1.5B 正確和錯誤答案中自我反思關(guān)鍵詞的出現(xiàn)情況。正如圖 4 所示，在不同的采樣溫度下，大多數(shù)自我反思（以頻率衡量）都沒有得到正確答案。這表明基礎(chǔ)模型容易產(chǎn)生膚淺的自我反思。

圖 4：正確和錯誤答案中的自我反思次數(shù)。藍色條表示正確答案中自我反思關(guān)鍵詞的總出現(xiàn)次數(shù)，而紅色條表示錯誤答案中自我反思關(guān)鍵詞的總出現(xiàn)次數(shù)。

深入探討類 R1-Zero 訓練

雖然模型響應(yīng)長度的突然增加通常被視為類 R1-Zero 訓練中的頓悟時刻，但正如博客 Section 1 中的研究結(jié)果表明：即使沒有 RL 訓練，這種頓悟時刻也可能發(fā)生。因此，這自然引出了一個問題：為什么模型響應(yīng)長度遵循一種獨特的模式，即在訓練初期減少，然后在某個點激增？

為了研究這一點，我們通過以下兩種方法來研究類 R1-Zero 訓練：

• 在倒計時（Countdown）任務(wù)上復制 R1-Zero 以分析輸出長度動態(tài)；
• 在數(shù)學問題上復制 R1-Zero 以研究輸出長度與自我反思之間的關(guān)系。

長度變化是 RL 動態(tài)的一部分

我們使用了支持類 R1-Zero 訓練的 oat（一個研究友好的 LLM 在線對齊框架），以使用 GRPO 算法在倒計時任務(wù)（TinyZero 所用）上對 Qwen-2.5-3B 基礎(chǔ)模型進行 RL 調(diào)整。

在該任務(wù)中，模型被賦予三到四個數(shù)字，并被要求使用算法運算（+、-、x、÷）來生成目標等式。這樣不可避免地需要模型重試不同的方案，因此需要自我反思行為。

圖 5 右顯示了整個 RL 訓練過程中獎勵和響應(yīng)長度的動態(tài)。與 TinyZero 和 SimpleRL-Zero 類似，我們觀察到獎勵持續(xù)增加，而長度先減少然后激增，現(xiàn)有工作將此歸因于頓悟時刻。然而，我們觀察到重試模式已經(jīng)存在于基礎(chǔ)模型的響應(yīng)中（Section 1），但其中許多都是膚淺的（Section 2 ），因此獎勵很低。

圖 5（左）為不同響應(yīng)組的分布和平均長度的詳細分析；（右）為測試獎勵和模型響應(yīng)長度的 RL 曲線。

在初始學習階段，我們分析了基于規(guī)則的獎勵塑造對 RL 動態(tài)和響應(yīng)長度變化的影響。圖 5（左）根據(jù)獎勵將模型響應(yīng)分為了三個不同的組：

這種簡單的分解揭示了一些關(guān)于 RL 動態(tài)的見解：

• 在 88 步之前的訓練以塑造獎勵 (r=0.1) 為主，通過調(diào)整模型使其在生成 token 預算內(nèi)停止并在 <answer> </answer > 塊內(nèi)格式化答案，從而可以更輕松地進行優(yōu)化。在此期間，冗長的錯誤響應(yīng)受到抑制，平均響應(yīng)長度急劇下降。
• 在第 88 步，模型開始通過輸出更多重試（retries）來「爬上獎勵山」，朝著更高的獎勵（r=1 表示正確性）攀登。因此，我們觀察到正確響應(yīng)的長度增加。伴隨而來的副作用是，模型輸出更多冗長的膚淺自我反思，導致平均響應(yīng)長度激增。
• 整個 RL 過程是將原本膚淺的自我反思轉(zhuǎn)變?yōu)橛行У淖晕曳此迹宰畲蠡A期獎勵，從而提高推理能力。

輸出長度和自我反思可能并不相關(guān)

按照 SimpleRL-Zero 的設(shè)置，我們使用 8K MATH 提示訓練 Qwen2.5-Math-1.5B。在訓練開始時，我們觀察到輸出長度減少，直到大約 1700 個梯度步，長度才開始增加（圖 6）。然而，自我反思關(guān)鍵詞的總數(shù)并沒有表現(xiàn)出圖 7 所示的與輸出長度的單調(diào)關(guān)系。這表明單憑輸出長度可能不是模型自我反思能力的可靠指標。

圖 6：使用 8K MATH 提示的 Qwen2.5-Math-1.5B 訓練動態(tài)。我們報告了 MATH500 上的測試準確率和平均響應(yīng)長度。

圖 7：訓練期間自我反思關(guān)鍵詞的總數(shù)。

在我們使用的單節(jié)點服務(wù)器上，完整訓練過程大約需要 14 天，目前仍在進行中（進度相當于 SimpleRL-Zero 中的 48 個訓練步）。我們將在完成后提供更詳細的分析。