大家好！今天咱得聊聊人工智能這圈的大新聞?，F(xiàn)在大語言模型，就像雨后春筍一樣冒出來，大家都知道它們厲害，能聊天、能寫文章、能做題，可你知道它們的推理能力是咋一步步變強的嗎？最近，DeepSeek - AI搞出了個大動作，整出了DeepSeek - R1系列模型，這就好比給大語言模型的推理能力打了一針超強的“升級針”，直接讓它們的“智商”上了好幾個臺階。這模型到底咋做到的？它又會給我們的生活帶來啥意想不到的變化？今天咱就好好扒一扒。

一、大語言模型推理能力進化史：從蹣跚學步到健步如飛

咱先回顧一下大語言模型的推理能力是咋發(fā)展起來的。以前，這些模型就像剛學走路的孩子，磕磕絆絆。碰到稍微復雜點的問題，就抓瞎了。后來，大家發(fā)現(xiàn)用大量數(shù)據(jù)訓練能讓它們進步，就像給孩子請了好多家教，教了好多知識。但這也有個問題，數(shù)據(jù)量太大了，訓練起來又費時間又費錢，就像請了一堆家教，家里快養(yǎng)不起了。

再后來，有了新辦法，就是在模型訓練好之后，再給它“開小灶”，這就是后訓練技術。比如說OpenAI的o1系列模型，通過增加思維鏈推理過程的長度，讓模型在推理的時候能像我們解題一樣，一步步地想，這一下效果就好多了。就好比孩子學會了有條理地思考問題，成績一下子就提高了。但這還不夠完美，怎么在測試的時候讓模型更有效地發(fā)揮能力，還是個難題，大家都在絞盡腦汁想辦法。

二、DeepSeek-R1-Zero：不用“老師”教，自己摸索變強

在這個時候，DeepSeek - AI站出來了，搞出了DeepSeek - R1 - Zero模型。這個模型可太神奇了，它訓練的時候，居然不用那些“監(jiān)督數(shù)據(jù)”，也就是沒有“老師”在旁邊告訴它對錯，自己通過強化學習就能慢慢變強，就像一個特別自律的孩子，沒有家長和老師盯著，自己就能努力學習進步。

它用的強化學習算法叫GRPO，這算法聽起來挺高深，實際上可以用一個有趣的例子來理解。想象一下，學校舉辦了一場解題大賽，每個學生就是模型給出的一個答案。GRPO就像是這場大賽的特殊評分規(guī)則。

比賽開始，老師從之前表現(xiàn)一般的學生（舊策略πθold）里挑出一組，比如5個學生，讓他們去解同一道數(shù)學題。這5個學生給出各自的解題思路和答案，就像模型針對一個問題生成了不同的回答。

然后，老師要開始評估新的“參賽選手”（新策略πθ）的表現(xiàn)。評估的時候，老師會對比新學生和之前那組學生的答案。如果新學生的解題思路更好、答案更準確，那他就能得到高分；要是解題思路和答案不咋地，分數(shù)就低。這里的分數(shù)就類似GRPO里的“獎勵”。

比如說，有一道數(shù)學題是計算一個復雜圖形的面積。之前那組學生里，有的把圖形分割錯了，有的計算過程出錯，最后只有一個學生勉強算對了。這時候來了個新學生，他用了一種特別巧妙的方法，不僅把圖形分割得很合理，計算過程也又快又準。按照GRPO的規(guī)則，這個新學生就能得到很高的獎勵分。

但是，老師也不能讓學生們?yōu)榱四酶叻志汀皝y來”。就像在GRPO里，有兩個超參數(shù)ε和β來約束。ε就像是一個“行為規(guī)范線”，如果新學生為了拿高分，解題方法變得特別怪異、不合理，超出了這個規(guī)范線，老師就會限制他的得分。β則是用來衡量新學生和一個“模范學生”（參考策略πref）之間的差異，如果新學生和模范學生的解題思路差異太大，也會被扣分。

另外，計算每個學生的“優(yōu)勢分”（Ai）也很有意思。老師會把這組學生的得分做個統(tǒng)計，算出平均分和標準差。如果某個學生的得分比平均分高很多，那他的優(yōu)勢分就高；要是比平均分低很多，優(yōu)勢分就低。這就好比在班級里，成績比平均分高很多的同學，在排名上就更有優(yōu)勢。通過這樣的方式，GRPO就能引導模型不斷改進，給出更好的答案。

為了訓練這個模型，研究人員還給它設計了一個很有意思的模板。比如說，用戶問一個問題，模型得先在心里“思考”一下，把思考過程寫在標簽里，然后再把答案寫在標簽里。這就好比我們做數(shù)學題，不能只寫個答案，得把解題步驟也寫清楚。

在訓練過程中，DeepSeek - R1 - Zero的表現(xiàn)就像坐了火箭一樣，蹭蹭往上漲。就拿AIME 2024這個數(shù)學競賽題來說，剛開始，它的通過率只有15.6% ，這成績確實不咋地。但經過幾千次的強化學習訓練后，它的通過率一下子漲到了71.0% ，要是用多數(shù)投票的方法，通過率能達到86.7% ，這成績都快趕上OpenAI的o1 - 0912模型了，簡直太牛了！

而且，這個模型在訓練過程中還會自己進化。它思考問題的時間越來越長，就像我們遇到難題，會多花點時間琢磨一樣。它還會自己反思，看看自己之前的思路對不對，有沒有更好的辦法，這種自我進化的能力太讓人驚訝了！不過呢，它也不是十全十美的，它的回答有時候不太好懂，還會出現(xiàn)語言混合的情況，就像一個人說話一會兒中文一會兒英文，讓人聽得有點懵。

三、DeepSeek-R1：吸取經驗，全面升級

DeepSeek - AI的研究人員一看，DeepSeek - R1 - Zero雖然厲害，但還有問題啊，得想辦法改進。于是，他們就搞出了DeepSeek - R1模型。這就好比給DeepSeek - R1 - Zero做了一次全面升級，讓它變得更完美。

為了解決DeepSeek - R1 - Zero的那些問題，DeepSeek - R1在訓練的時候，先用了一個小技巧，就是“冷啟動”。這就像我們開車，冬天的時候，車子得先預熱一下才能開得更順。DeepSeek - R1也是這樣，它先收集了幾千條“長思維鏈”的數(shù)據(jù)，用這些數(shù)據(jù)來微調模型，讓模型有個好的開始。這些數(shù)據(jù)都是經過精心設計的，可讀性很強，就像我們看的那些簡單易懂的科普文章一樣。

接下來，DeepSeek - R1就開始進行推理導向的強化學習。這個過程和DeepSeek - R1 - Zero有點像，但它還考慮了一個新問題，就是語言混合。為了讓模型說的話更“規(guī)矩”，研究人員加了一個語言一致性獎勵。比如說，如果模型在思考過程中，大部分用的是中文，就給它獎勵，要是一會兒中文一會兒英文，就不給獎勵。這樣一來，模型說的話就更清楚，更好懂了。

當推理導向的強化學習差不多收斂的時候，研究人員又做了一件事，就是用拒絕采樣的方法收集數(shù)據(jù)，然后進行監(jiān)督微調。這就好比我們在一堆東西里挑挑揀揀，把不好的去掉，留下好的，再用這些好的東西來訓練模型，讓模型變得更厲害。

最后，DeepSeek - R1還進行了一次針對所有場景的強化學習。這次強化學習的目標是讓模型更符合我們人類的喜好，不僅要推理能力強，還要對我們有幫助，不會產生有害的內容。經過這一系列的操作，DeepSeek - R1的能力得到了全面提升，在很多任務上的表現(xiàn)都和OpenAI的o1 - 1217模型差不多，甚至在一些數(shù)學任務上還超過了它。

四、模型蒸餾：讓小模型也有大能量

DeepSeek - AI的研究人員還不滿足于此，他們又想到了一個新點子，就是把DeepSeek - R1的推理能力“復制”到小模型上，這就是模型蒸餾技術。這就好比把一個武林高手的內力傳給一個小徒弟，讓小徒弟也能變得很厲害。

他們用DeepSeek - R1生成了80萬條數(shù)據(jù)，然后用這些數(shù)據(jù)來微調一些開源模型，像Qwen和Llama系列的模型。結果發(fā)現(xiàn)，這些小模型經過微調后，推理能力有了很大的提升。比如說，DeepSeek - R1 - Distill - Qwen - 7B這個模型，在AIME 2024的測試中，通過率達到了55.5% ，比一些比它大的模型表現(xiàn)還好。DeepSeek - R1 - Distill - Qwen - 32B模型在很多測試中，成績都超過了之前的開源模型，和o1 - mini模型差不多。這說明模型蒸餾技術真的很有效，能讓小模型也有大能量。

五、實驗大揭秘：DeepSeek-R1到底有多強

為了測試DeepSeek - R1和那些蒸餾出來的小模型到底有多厲害，研究人員找了一大堆測試基準，像MMLU、MATH - 500、Codeforces這些，都是很有挑戰(zhàn)性的測試。

在知識類的測試中，比如MMLU、MMLU - Pro和GPQA Diamond這些測試里，DeepSeek - R1比DeepSeek - V3表現(xiàn)得好多了。這就好比一個學生，之前成績一般般，經過努力學習后，成績一下子提高了很多。在一些長文本分析的測試中，DeepSeek - R1也表現(xiàn)得很出色，說明它的理解能力很強。不過，在中文的SimpleQA測試中，DeepSeek - R1因為考慮了安全問題，有些問題它拒絕回答，所以成績比DeepSeek - V3差了點，但要是不考慮安全問題，它的準確率能超過70% 。

在數(shù)學和編程相關的測試中，DeepSeek - R1的表現(xiàn)就更厲害了。在AIME 2024和MATH - 500這些數(shù)學測試里，它的成績和OpenAI的o1 - 1217模型差不多，比其他模型都要好很多。在編程算法的測試中，像LiveCodeBench和Codeforces這些測試里，DeepSeek - R1也表現(xiàn)得非常出色，就像一個編程高手，在比賽中輕松打敗很多對手。

那些蒸餾出來的小模型表現(xiàn)也很不錯。DeepSeek - R1 - Distill - Qwen - 7B模型在很多測試中都超過了像GPT - 4o - 0513這樣的模型，DeepSeek - R1 - Distill - Qwen - 14B模型在所有評估指標上都超過了QwQ - 32B - Preview模型，DeepSeek - R1 - Distill - Qwen - 32B和DeepSeek - R1 - Distill - Llama - 70B模型在大多數(shù)測試中都比o1 - mini模型表現(xiàn)得好。這些結果都說明，DeepSeek - R1和它蒸餾出來的小模型真的很厲害。

六、技術大討論：蒸餾和強化學習，誰更勝一籌

在研究過程中，研究人員還發(fā)現(xiàn)了一個很有意思的問題，就是蒸餾和強化學習，到底哪個對提升模型推理能力更有效呢？他們做了個實驗，用Qwen - 32B - Base模型進行大規(guī)模的強化學習訓練，訓練了1萬多步，得到了DeepSeek - R1 - Zero - Qwen - 32B模型。結果發(fā)現(xiàn)，這個模型的表現(xiàn)和QwQ - 32B - Preview模型差不多。但是，從DeepSeek - R1蒸餾出來的DeepSeek - R1 - Distill - Qwen - 32B模型，在所有測試中都比DeepSeek - R1 - Zero - Qwen - 32B模型表現(xiàn)得好。

這就好比兩個學生，一個學生自己努力學習（強化學習），另一個學生跟著一個學習特別好的同學（DeepSeek - R1）學習（蒸餾），結果發(fā)現(xiàn)跟著好同學學習的學生進步更大。這說明，把大模型的能力蒸餾到小模型上，效果真的很好，而且比小模型自己進行大規(guī)模強化學習更有效。不過，研究人員也說，要想讓模型的智能有更大的突破，可能還是需要更強大的基礎模型和更大規(guī)模的強化學習。

七、失敗乃成功之母：那些不太成功的嘗試

在開發(fā)DeepSeek - R1的過程中，研究人員也不是一帆風順的，他們也遇到了很多失敗和挫折。比如說，他們嘗試過用過程獎勵模型（PRM）來引導模型更好地解決推理問題。這就好比給學生一個解題的思路指南，讓他們按照這個思路去解題。但是在實際操作中，他們發(fā)現(xiàn)這個方法有很多問題。首先，在一般的推理中，很難明確地定義一個精細的步驟，就像我們給學生講題，很難把每一步都講得特別清楚。其次，判斷中間步驟是否正確也很困難，讓模型自己判斷吧，結果不太好，讓人手動標注吧，又沒辦法大規(guī)模進行。最后，用了基于模型的PRM之后，還容易出現(xiàn)“獎勵作弊”的情況，就是模型為了得到獎勵，走一些歪路，而且重新訓練獎勵模型又要花很多資源，讓整個訓練過程變得很復雜。所以，雖然PRM在某些方面有點用，但總體來說，它的問題比好處更多。

他們還嘗試過用蒙特卡羅樹搜索（MCTS）來增強模型在測試時的計算能力。這就好比我們走迷宮，每走一步都看看周圍有哪些路可以走，然后選擇一條最有可能走出迷宮的路。但是在訓練模型的時候，他們發(fā)現(xiàn)這個方法也很難。因為和走迷宮不一樣，模型生成的“路”（也就是答案）的搜索空間太大了，就像一個超級大的迷宮，很難找到出口。而且，訓練一個精細的價值模型也很困難，這個價值模型就像我們在迷宮里判斷哪條路更好走的指南針，指南針不準，模型就很難進步。所以，雖然MCTS在和預訓練的價值模型一起使用時，能在推理時提高一點性能，但要想通過它來不斷提升模型的性能，還是個很大的挑戰(zhàn)。

八、未來展望：DeepSeek-R1的無限可能

現(xiàn)在，DeepSeek - R1已經很厲害了，但研究人員并不滿足于此，他們對未來有很多的計劃。

在通用能力方面，DeepSeek - R1現(xiàn)在在一些功能調用、多輪對話、復雜角色扮演和json輸出這些任務上，還不如DeepSeek - V3。研究人員打算利用長思維鏈來提升這些方面的能力，就像給模型多開幾門課，讓它變得更全能。

在語言混合方面，DeepSeek - R1現(xiàn)在主要是針對中文和英文進行優(yōu)化的，遇到其他語言的問題時，就容易出現(xiàn)語言混合的情況。比如說，用戶用日語問問題，它可能會用英文來推理和回答。研究人員希望在未來的更新中解決這個問題，讓模型能更好地處理各種語言的問題。

在提示工程方面，研究人員發(fā)現(xiàn)DeepSeek - R1對提示很敏感，用少樣本提示的時候，它的性能會下降。所以，他們建議用戶在使用的時候，直接描述問題，用零樣本設置，這樣模型就能發(fā)揮出最好的水平。這就好比我們和人交流，說話越直接越清楚，對方就越容易理解我們的意思。

在軟件工程任務方面，由于評估時間太長，影響了強化學習的效率，所以DeepSeek - R1在軟件工程基準測試上，比DeepSeek - V3并沒有太大的提升。研究人員打算在未來的版本中，通過對軟件工程數(shù)據(jù)進行拒絕采樣或者在強化學習過程中加入異步評估的方法，來提高效率，讓DeepSeek - R1在軟件工程領域也能大放異彩。

九、總結：DeepSeek-R1帶來的技術變革

總的來說，DeepSeek - R1系列模型的出現(xiàn)，真的給大語言模型的推理能力帶來了巨大的提升。DeepSeek - R1 - Zero通過純強化學習，展現(xiàn)出了強大的自我進化能力，雖然它還有一些小問題，但為后來的研究打下了很好的基礎。DeepSeek - R1則通過冷啟動、多階段訓練等方法，解決了DeepSeek - R1 - Zero的問題，讓模型的性能更上一層樓。而且，通過模型蒸餾技術，把大模型的能力傳遞給小模型，讓小模型也能在推理任務中表現(xiàn)出色。

這些技術創(chuàng)新不僅讓我們看到了大語言模型推理能力的巨大潛力，也為未來的人工智能發(fā)展開辟了新的道路。也許在不久的將來，我們身邊的各種智能設備，像手機、智能音箱，都能用上這些強大的模型，為我們提供更智能、更貼心的服務。說不定以后我們的學習、工作、生活都會因為這些技術的進步而變得更加便捷、有趣。讓我們一起期待那一天的到來吧！ 

本文轉載自 ??旺知識??，作者： 旺知識