DeepSeek-R1-Zero激發(fā)了推理Scaling Law
本文將散落在近期多篇文章中筆者圍繞激發(fā)推理Scaling Law的思考做了一下整理。
方向
MIT對大模型數(shù)理原理的強有力證明中總結(jié)：
基于宏大的人類知識提取出來豐富范疇，形成眾多領(lǐng)域的本體知識結(jié)構(gòu)，這是大模型通過預(yù)訓(xùn)練已經(jīng)構(gòu)建的內(nèi)部世界模型；提高推理采樣的機(jī)制，通過訓(xùn)練達(dá)成學(xué)習(xí)推理的scaling law，是大模型下一步努力提升的方向。
相比傳統(tǒng)方法，新的大模型機(jī)理，具備更高維度的新穎性、對能力和技術(shù)細(xì)節(jié)的探索，可以通過揭示隱藏的聯(lián)系建立更廣泛有用的創(chuàng)新框架。AI 知識圖驅(qū)動的跨學(xué)科研究可能會成為科學(xué)和哲學(xué)探索的有力工具。
框架
DeepSeek R1 與 Kimi 1.5 的推理強化學(xué)習(xí)中梳理了整體框架：
在已訓(xùn)練的LLM世界模型的基礎(chǔ)上，進(jìn)行專注推理策略的第二階預(yù)訓(xùn)練，給LLM構(gòu)建完整的“大腦皮層”，進(jìn)而皮層指揮LLM推理生成：
圖片
1. 積累推理語料：目前人類推理被“語料化”最多的領(lǐng)域，筆者能想到的還是注釋的代碼、LLM自己積累的人類提示的思維鏈、應(yīng)試答題步驟、科學(xué)文獻(xiàn)中的推導(dǎo)、邏輯與哲學(xué)的思辨等，歡迎大家補充；
2. 預(yù)訓(xùn)練推理策略生成器：有針對性地基于這些推理語料做預(yù)訓(xùn)練，從中“重整化”提煉出特殊的“推理范疇”，作為整體世界模型采樣變分推理的策略生成器（直接從整體范疇中分離并精調(diào)“推理范疇”或許亦可行）；
3. 策略驅(qū)動世界模型變分推理：依據(jù)預(yù)訓(xùn)練的推理策略生成器生成的最佳策略，在LLM內(nèi)部整體范疇上，也就是內(nèi)部世界模型上，做范疇內(nèi)或跨范疇采樣變分推理。
策略
重新思考 MoE 進(jìn)一步解讀 “MoE 其實 = 推理采樣策略” ：
MoE里的“專家”是一種擬人的形象化的說法，如果全文替換成“特定范疇”，讀者會發(fā)現(xiàn)MoE其實本質(zhì)上是基于某種人類先驗“知識”或“策略”的“跨范疇采樣”：
“在外部感官輸入下（被提示置于某種上下文），大模型內(nèi)部將限定在相應(yīng)的高維語言概率空間的子空間內(nèi)推理；推理是在子空間中采樣，類比時跨范疇采樣”。
目前 MoE 可以理解為一種分布式采樣策略，可以GShard硬編碼，或進(jìn)一步DeepSeekMoE細(xì)分，也可以如MoDE基于噪聲更靈活調(diào)節(jié)策略，亦或引入某種優(yōu)化器(類似SQL優(yōu)化器)，并最終依賴推理的scaling law涌現(xiàn)出策略。
技術(shù)
通往ASI的大模型推理，詳細(xì)分析了支撐LLM推理涌現(xiàn)的技術(shù)：
測試時計算（Test-time Computing）也被寄予厚望。蘇州大學(xué)、新加坡國立大學(xué)和螞蟻集團(tuán)的研究人員探索了測試時計算，追蹤了其從 System-1 到 System-2 模型的演變。
測試時計算最初應(yīng)用于 System-1 模型，通過參數(shù)更新、輸入修改和輸出校準(zhǔn)來解決分布偏移并增強穩(wěn)健性，現(xiàn)在使用重復(fù)采樣、自我校正和樹搜索等策略加強了 System-2 模型中的推理。
測試時適應(yīng)（TTA）在推理過程中使用測試樣本信息微調(diào)模型。關(guān)鍵考慮因素包括學(xué)習(xí)信號、參數(shù)更新和確保效率。測試時訓(xùn)練 （TTT） 學(xué)習(xí)信號使用輔助任務(wù)，而完全測試時適應(yīng) （FTTA） 利用內(nèi)部反饋（如熵最小化）。
筆者認(rèn)為，測試時計算模型更新，等于利用測試樣本信息在推理階段進(jìn)一步微調(diào)了模型參數(shù)，使模型能夠適應(yīng)測試分布。這樣不僅學(xué)了更多的內(nèi)容（測試語料），還反復(fù)推敲學(xué)習(xí)如何采樣變分用于推理，本質(zhì)是積累了推理的范疇。
測試時計算的訓(xùn)練方式，如果推廣到更大范圍的語料（甚至重復(fù)利用預(yù)訓(xùn)練時期的語料），可以積累更多推理范疇，從而提升推理能力。預(yù)訓(xùn)練的語料中，也有大量類似的推理場景，針對此類場景，采用測試時適應(yīng)，或類似的測試時計算的策略，在預(yù)訓(xùn)練時就可以同時積累推理的范疇，即推理內(nèi)化成內(nèi)部世界模型中的一部分。
突破
DeepSeek R1 與 Kimi 1.5 的推理強化學(xué)習(xí), 簡要分析了DeepSeek強化學(xué)習(xí)變體：
DeepSeek R1沒有使用監(jiān)督微調(diào)（SFT）作為冷啟動，轉(zhuǎn)而通過大規(guī)模強化學(xué)習(xí)（RL）提升大模型推理能力。DeepSeek-R1-Zero 沒用任何SFT數(shù)據(jù)，直接將RL應(yīng)用于基礎(chǔ)模型，DeepSeek-R1則是從經(jīng)過數(shù)千個長鏈?zhǔn)酵评恚–oT）示例微調(diào)的檢查點開始應(yīng)用RL。
DeepSeekMath的組相對策略優(yōu)化（GRPO）是R1成功的關(guān)鍵。GRPO是近端策略優(yōu)化（PPO）的變體，PPO是廣泛用于LLM 微調(diào)階段的演員-評論家（actor-critic）強化學(xué)習(xí)算法。
PPO中使用的價值函數(shù)通常是另一個與策略模型規(guī)模相當(dāng)?shù)哪Ｐ?，會帶來巨大的?nèi)存和計算負(fù)擔(dān)，而且在LLM上下文中，通常只有最后一個token會被獎勵模型分配獎勵分?jǐn)?shù)，而在每個token上訓(xùn)練一個準(zhǔn)確的價值函數(shù)很困難。
因此，GRPO摒棄了通常與策略模型規(guī)模相同的評論家模型，而是使用針對同一問題生成的多個采樣輸出的平均獎勵作為基線。
DeepSeekMath不僅引入GRPO，而且給出極具深度的洞察：監(jiān)督微調(diào)（SFT）、獎勵微調(diào)（RFT）、直接偏好優(yōu)化（DPO）、近端策略優(yōu)化（PPO）、組相對策略優(yōu)化（GRPO）在邁向統(tǒng)一的范式。
監(jiān)督微調(diào)（SFT）：在人類篩選的 SFT 數(shù)據(jù)上對預(yù)訓(xùn)練模型進(jìn)行微調(diào)。
拒絕采樣微調(diào)（RFT）：RFT 在基于 SFT 問題從 SFT 模型采樣的過濾輸出上進(jìn)一步微調(diào) SFT 模型。RFT 根據(jù)答案的正確性對輸出進(jìn)行過濾。
直接偏好優(yōu)化（DPO）：DPO 通過使用成對 DPO 損失在從 SFT 模型采樣的增強輸出上微調(diào) SFT 模型，進(jìn)一步優(yōu)化模型。
在線拒絕采樣微調(diào)（在線 RFT）：與 RFT 不同，在線 RFT 使用 SFT 模型初始化策略模型，并通過從實時策略模型采樣的增強輸出進(jìn)行微調(diào)來優(yōu)化模型。
PPO/GRPO：PPO/GRPO 使用 SFT 模型初始化策略模型，并通過從實時策略模型采樣的輸出進(jìn)行強化學(xué)習(xí)來優(yōu)化模型。
原理
GRPO 是DeepSeek魔法的源泉 闡述了GRPO本質(zhì)：
組內(nèi)多采樣與大數(shù)定理：
GRPO平均獎勵的有效性可能直接源于大數(shù)定理，作為概率基礎(chǔ)理論支撐，大數(shù)定理可以確保獎勵基線估計的統(tǒng)計合理性。
近似實現(xiàn)最優(yōu)輸運：
GRPO通過采樣同一問題的多個輸出（組內(nèi)樣本），計算其平均獎勵作為基線，并對獎勵進(jìn)行歸一化（減去組均值，除以標(biāo)準(zhǔn)差）。這一過程本質(zhì)上是在對齊組內(nèi)輸出的經(jīng)驗分布，使其向高獎勵區(qū)域集中。
將組內(nèi)樣本的原始獎勵分布視為源分布，高獎勵區(qū)域視為目標(biāo)分布。GRPO的歸一化操作類似于OT中的分布?xì)w一化，旨在減少分布間的統(tǒng)計差異。通過優(yōu)化策略使生成分布向目標(biāo)分布傳輸，隱式利用了Wasserstein距離的特性。
GRPO舍棄大規(guī)模價值模型，利用組內(nèi)樣本統(tǒng)計量降低計算復(fù)雜度，組內(nèi)歸一化基線估計與OT中的小批量近似或切片Wasserstein距離思路一致，通過有限樣本近似全局分布特性。優(yōu)勢函數(shù)僅依賴組內(nèi)相對獎勵，類似OT中局部耦合的構(gòu)造，減少高維空間的計算負(fù)擔(dān)。
實踐
DeepSeek-R1與R1-Zero通過創(chuàng)新強化學(xué)習(xí)技術(shù)，突破傳統(tǒng)LLM依賴監(jiān)督微調(diào)（SFT）的局限，成功實踐并開創(chuàng)了推理能力自我進(jìn)化的新范式。
R1-Zero完全跳過SFT階段，摒棄傳統(tǒng)PPO算法中的價值模型，直接在基礎(chǔ)模型DeepSeek-V3-Base上應(yīng)用GRPO純強化學(xué)習(xí)方法訓(xùn)練。模型自發(fā)學(xué)會延長思維鏈、重新評估初始答案并修正錯誤，甚至出現(xiàn)類似人類“頓悟時刻”的行為。
模型實際推理能力驚人，在AIME 2024數(shù)學(xué)競賽中的Pass@1準(zhǔn)確率從15.6%躍升至71.0%，多數(shù)投票后達(dá)86.7%，媲美頂尖閉源模型。
R1優(yōu)化改進(jìn)了R1-Zero可讀性差、語言混合等問題，通過冷啟動SFT、多階段強化學(xué)習(xí)、拒絕采樣與蒸餾等策略實現(xiàn)訓(xùn)練效率與推理能力的平衡。
R1系列的突破不僅體現(xiàn)在性能上，更揭示了LLM通過自我迭代不斷增強推理能力的可能，筆者認(rèn)為其技術(shù)路徑的成功實踐，是通往AGI的重要里程碑。
擴(kuò)展
更近一步，斯坦福近期提出了一種名為"s1:簡單測試時擴(kuò)展"的方法，在語言建模中實現(xiàn)了測試時計算的高效擴(kuò)展[文獻(xiàn)1] 。
通過僅使用1000個樣本的監(jiān)督微調(diào)，結(jié)合預(yù)算強制技術(shù)，顯著提升了模型的推理能力，尤其在數(shù)學(xué)競賽任務(wù)中超越了OpenAI的閉源模型o1-preview，展現(xiàn)出極高的樣本效率。
學(xué)者們構(gòu)建了包含1000個問題的小型數(shù)據(jù)集s1K，問題覆蓋難度、多樣性和質(zhì)量三個維度，通過消融實驗驗證其有效性。
然后通過預(yù)算強制技術(shù)控制模型的思維過程，實現(xiàn)測試時計算的動態(tài)擴(kuò)展，包括強制終止并輸出當(dāng)前最佳答案，多次追加"Wait"指令延長思考，迫使模型回溯推理步驟，修正錯誤路徑等。
基于Qwen2.5-32B-Instruct模型，在s1K數(shù)據(jù)集監(jiān)督微調(diào)并應(yīng)用預(yù)算強制技術(shù)后，數(shù)學(xué)競賽MATH和AIME24上的表現(xiàn)超過o1-preview最高達(dá)27%。進(jìn)一步擴(kuò)展測試時計算量后，無干預(yù)時AIME24準(zhǔn)確率從50%提升至57%。
這是樣本效率的革命，傳統(tǒng)方法需依賴數(shù)以萬計的微調(diào)示例（如R1使用近百萬樣本強化學(xué)習(xí)），而s1僅用1000樣本即達(dá)到同等水平。
簡單測試時擴(kuò)展，驗證了模型預(yù)訓(xùn)練階段已具備推理潛力，微調(diào)僅需"激活"這一能力。這類似筆者在“框架”部分提到的“直接從整體范疇中分離并精調(diào)“推理范疇”。
文獻(xiàn)1，s1: Simple test-time scaling，https://arxiv.org/abs/2501.19393
