剛看完DeepSeek R1技術(shù)報告論文《DeepSeek-R1：強化學(xué)習(xí)驅(qū)動的大語言模型推理能力提升》，這篇論文最令人震驚的點在于：

DeepSeek-R1-Zero 作為一個完全沒有使用任何監(jiān)督微調(diào)（SFT）數(shù)據(jù)，僅通過純粹的強化學(xué)習(xí)（RL）訓(xùn)練的模型，展現(xiàn)出了驚人的推理能力，推理基準測試上可以媲美乃至超越 OpenAI 的 o1 系列模型（如 o1-0912），完全開源，報告毫無保留的奉上了R1的訓(xùn)練秘密，值得注意的是，這是第一個開放研究驗證了 LLM 的推理能力可以完全通過 RL 來激勵，而不需要 SFT。這一突破為該領(lǐng)域的未來發(fā)展鋪平了道路。

具體來說，以下幾點尤其令人震驚：

純 RL 的成功： 以往的模型在提升推理能力時，通常依賴于 SFT 作為預(yù)訓(xùn)練步驟。DeepSeek-R1-Zero 打破了這一常規(guī)，證明了僅通過設(shè)計合適的獎勵機制和訓(xùn)練模板，就可以讓模型在沒有 SFT 的情況下（冷啟動），通過自我博弈和進化，自發(fā)地學(xué)習(xí)到復(fù)雜的推理策略，這讓我想起了AlphaZero--從零開始掌握圍棋、將棋和國際象棋，而無需先模仿人類大師的棋步，這是整個技術(shù)報告最重要的啟示。

驚人的性能提升： DeepSeek-R1-Zero 在 AIME 2024 基準測試上，pass@1 分數(shù)從 15.6% 提升到了 71.0%，通過多數(shù)投票更是達到了 86.7%，與 OpenAI-01-0912 的表現(xiàn)相當(dāng)甚至更好。這種巨大的性能飛躍僅僅是通過 RL 實現(xiàn)的，這非常令人震撼。

“頓悟”現(xiàn)象（Aha Moment）： 論文中描述了 DeepSeek-R1-Zero 在訓(xùn)練過程中出現(xiàn)的“頓悟”現(xiàn)象，模型會自發(fā)地重新評估之前的步驟，并進行反思，類似于人類的“靈光一現(xiàn)”。這種自發(fā)涌現(xiàn)的復(fù)雜行為，展示了純 RL 訓(xùn)練的巨大潛力，也為理解 AI 的學(xué)習(xí)機制提供了新的視角。

無監(jiān)督學(xué)習(xí)的潛力： DeepSeek-R1-Zero 的成功，證明了無監(jiān)督或弱監(jiān)督學(xué)習(xí)方法在提升模型推理能力方面的巨大潛力。這對于那些難以獲取大量高質(zhì)量標注數(shù)據(jù)的領(lǐng)域來說，具有重要的意義。

除了之前提到的 DeepSeek-R1-Zero 僅通過純強化學(xué)習(xí) (RL) 展現(xiàn)出驚人推理能力之外，我還注意到以下幾個同樣令人印象深刻的點：

1. 蒸餾技術(shù)有效提升小型模型能力：

? 蒸餾效果顯著: 論文展示了將 DeepSeek-R1 的推理能力蒸餾到較小的模型（如 Qwen 和 Llama 系列）上的顯著效果。例如，DeepSeek-R1-Distill-Qwen-7B 在多個基準測試上超過了非推理模型 GPT-40-0513，而 14B 模型則全面超越了 QwQ-32B-Preview。

? 小型模型的巨大潛力: 這說明通過合理的蒸餾策略，小型模型也能獲得強大的推理能力，為資源受限場景下的應(yīng)用提供了可能。

2. 對比實驗揭示了蒸餾的優(yōu)勢：

? 同等規(guī)模下，蒸餾優(yōu)于純 RL: 論文通過對比實驗，發(fā)現(xiàn)將 DeepSeek-R1 蒸餾到 Qwen-32B 上的效果，遠好于直接在 Qwen-32B-Base 上進行大規(guī)模 RL 訓(xùn)練。這表明對于較小的模型，直接學(xué)習(xí)大型模型的推理模式比自身探索更為有效。

? 對計算資源的考量: 這也暗示了在提升模型能力時，需要綜合考慮計算資源和效率，蒸餾在特定情況下可能是更優(yōu)的選擇。

寫在最后：

坦誠的失敗嘗試分析：

分享失敗經(jīng)驗的價值: 論文坦誠地分享了在探索過程中嘗試 PRM 和 MCTS 兩種方法時遇到的挑戰(zhàn)和失敗。這種開放的態(tài)度對于學(xué)術(shù)研究來說非常寶貴，可以幫助其他人少走彎路。

對未來研究的啟示: 對失敗原因的分析，也為未來的研究提供了啟示，例如指出了 PRM 在定義細粒度步驟和判斷中間步驟正確性方面的困難，以及 MCTS 在擴展到語言模型時面臨的搜索空間爆炸和價值模型訓(xùn)練難題。