OpenAI o1 給大模型規(guī)模擴(kuò)展 vs 性能的曲線帶來了一次上翹。它在大模型領(lǐng)域重現(xiàn)了當(dāng)年 AlphaGo 強(qiáng)化學(xué)習(xí)的成功 —— 給越多算力，就輸出越多智能，一直到超越人類水平。

但這種突破背后是龐大的算力支持與推理開銷：API 的價(jià)格上，o1-preview 每百萬輸入 15 美元，每百萬輸出 60 美元，而最新版的 o3 在處理復(fù)雜推理任務(wù)時(shí)，單次成本更是高達(dá)數(shù)千美元。

業(yè)界一直在尋找一個更經(jīng)濟(jì)、更高效的解決方案。而這個答案可能比預(yù)期來得更快一些。

今天登頂 Hugging Face 熱門榜一的論文展示了小模型的潛力。來自微軟亞洲研究院的研究團(tuán)隊(duì)提出了 rStar-Math。rStar-Math 向我們證明，1.5B 到 7B 規(guī)模的小型語言模型（SLM）無需從更大模型蒸餾，就能在數(shù)學(xué)推理能力上媲美甚至超越 OpenAI o1。

• 論文標(biāo)題：rStar-Math: Small LLMs Can Master Math Reasoning with Self-Evolved Deep Thinking
• 論文鏈接：https://arxiv.org/pdf/2501.04519
• Github 鏈接：https://github.com/microsoft/rStar（即將開源）

經(jīng)過 4 輪自我進(jìn)化，吸納了 747k 數(shù)學(xué)問題合成的數(shù)百萬數(shù)據(jù)，rStar-Math 將 SLM 的數(shù)學(xué)推理能力提升到了最先進(jìn)水平。

例如，在 MATH 基準(zhǔn)測試上，它將 Qwen2.5-Math-7B 的成績從 58.8% 提升到了 90.0%，將 Phi3-mini-3.8B 的正確率從 41.4% 提升到了 86.4%，分別超過了 o1-preview 4.5% 和 0.9%。

拉到美國數(shù)學(xué)奧林匹克（AIME）的考場上，15 道題，rStar-Math 能夠做對 8 道，在最優(yōu)秀的高中數(shù)學(xué)競賽生中也能排到前 20%。

更重要的是，他們只花了 60 塊 A100 就達(dá)到了如此效果，項(xiàng)目和代碼即將開源。

AI 投資人 Chetan Puttagunta 銳評：「對創(chuàng)業(yè)公司來說，這將是一個絕佳的機(jī)會！」

當(dāng)如此強(qiáng)大的推理能力可以用更低的成本實(shí)現(xiàn)時(shí)，Keras 創(chuàng)始人 Fran?ois Chollet 也感嘆道：「2025 年將是開源 o3 復(fù)刻之年?！?/span>

學(xué)術(shù)圈的人對 rStar-Math 的欣賞，表達(dá)起來就直白多了：

發(fā)布不到 20 個小時(shí)，甚至就已經(jīng)有人專門做了一期視頻來深度解讀。

• 視頻鏈接：https://www.youtube.com/watch?v=cHgHS6Y3QP0

從技術(shù)層面來說，rStar-Math 引入了一種可以自己進(jìn)化的 System 2 推理方法，通過蒙特卡洛樹搜索（MCTS）來實(shí)現(xiàn)「深度思考」能力。在測試階段，它會在獎勵模型的指導(dǎo)下，讓數(shù)學(xué)策略模型進(jìn)行搜索推理。

具體來看，在 MCTS 中，數(shù)學(xué)問題求解被分解為多步生成。每一步都將作為策略模型的 SLM 采樣候選節(jié)點(diǎn)。每個節(jié)點(diǎn)生成一步 CoT 和相應(yīng)的 Python 代碼。為驗(yàn)證生成質(zhì)量，只保留 Python 代碼執(zhí)行成功的節(jié)點(diǎn)，從而減少中間步驟的錯誤。

此外，大量 MCTS rollout 基于每個中間步驟的貢獻(xiàn)自動分配 Q 值：對正確答案貢獻(xiàn)更多的步驟獲得更高 Q 值，被認(rèn)為質(zhì)量更高。這確保了 SLM 生成的是正確、高質(zhì)量的推理軌跡。

由于 rStar-Math 的總體架構(gòu)涉及兩個 SLM，一個是數(shù)學(xué)策略模型，一個是獎勵模型，該團(tuán)隊(duì)引入了三個關(guān)鍵創(chuàng)新：

1. 創(chuàng)新的代碼增強(qiáng) CoT 數(shù)據(jù)合成方法，通過大量 MCTS rollout 生成經(jīng)過驗(yàn)證的逐步推理軌跡，用于訓(xùn)練策略 SLM；
2. 過程獎勵模型訓(xùn)練方法也有所改進(jìn)，避免了簡單的步級分?jǐn)?shù)標(biāo)注，提升了過程偏好模型（PPM）的評估效果；
3. 模型會自我進(jìn)化，采用完全自主訓(xùn)練方案，從零開始構(gòu)建并訓(xùn)練模型，通過持續(xù)的迭代優(yōu)化來不斷提升推理能力。

方法

該研究的目標(biāo)是訓(xùn)練數(shù)學(xué)策略 SLM 和過程獎勵模型 (PRM)，并將兩者集成到蒙特卡羅樹搜索 (MCTS) 中以實(shí)現(xiàn) System 2 深度思考。

選擇 MCTS 有兩個主要原因。

首先，它將復(fù)雜的數(shù)學(xué)問題分解為更簡單的單步生成任務(wù)，與 Best-of-N 或 self-consistency 等其他 System 2 方法相比，MCTS 降低了策略 SLM 的難度。

其次，MCTS 中的逐步生成會自然產(chǎn)生兩個模型的 step-level 訓(xùn)練數(shù)據(jù)。標(biāo)準(zhǔn) MCTS rollout 會根據(jù)每個步驟對最終正確答案的貢獻(xiàn)自動為每個步驟分配 Q 值，從而無需人工生成步驟級注釋來進(jìn)行過程獎勵模型訓(xùn)練。

理想情況下，GPT-4 等高級 LLM 可以集成到 MCTS 中以生成訓(xùn)練數(shù)據(jù)。然而，這種方法面臨兩個關(guān)鍵挑戰(zhàn)。首先，即使是強(qiáng)大的模型也難以持續(xù)解決難題，例如奧林匹克級別的數(shù)學(xué)問題。

因此，生成的訓(xùn)練數(shù)據(jù)將主要由更簡單的可解決問題組成，限制了其多樣性和質(zhì)量。

其次，注釋每步 Q 值需要廣泛的 MCTS 部署；樹探索（tree exploration）不足可能會導(dǎo)致虛假的 Q 值分配，例如高估次優(yōu)步驟。鑒于每次 rollout 都涉及多個單步生成，并且這些模型的計(jì)算成本很高，因此增加 rollout 會顯著提高推理成本。

為此，該研究探索使用兩個 7B SLM（策略 SLM 和 PRM）來生成更高質(zhì)量的訓(xùn)練數(shù)據(jù)，其較小的模型大小允許在可訪問的硬件（例如 4×40GB A100 GPU）上廣泛部署 MCTS。

然而，由于自生成數(shù)據(jù)的能力較弱，SLM 經(jīng)常無法生成正確的解決方案，即使最終答案正確，中間步驟也常常存在缺陷或質(zhì)量較差。此外，與 GPT-4 等高級模型相比，SLM 解決的挑戰(zhàn)性問題較少。

如圖 1 所示，為了減少錯誤和低質(zhì)量的中間步驟，該研究提出了一種代碼增強(qiáng)的 CoT 合成方法，該方法執(zhí)行廣泛的 MCTS 部署以生成逐步驗(yàn)證的推理軌跡，用 Q 值注釋。

為了進(jìn)一步提高 SLM 在挑戰(zhàn)性問題上的性能，該研究提出了四輪自進(jìn)化方案。在每一輪中，策略 SLM 和獎勵模型都會更新為更強(qiáng)的版本，逐步解決更困難的問題并生成更高質(zhì)量的訓(xùn)練數(shù)據(jù)。

最后，該研究提出了一種新穎的流程獎勵模型訓(xùn)練方法，無需精確的每步獎勵注釋，從而產(chǎn)生更有效的流程偏好模型（PPM）。

實(shí)驗(yàn)評估

該團(tuán)隊(duì)在多個數(shù)學(xué)數(shù)據(jù)集上對 rStar-Math 進(jìn)行了評估，并與多個模型進(jìn)行了對比。具體設(shè)置請參閱原論文，這里我們主要來看研究結(jié)果。

主要結(jié)果

表 5 展示了 rStar-Math 與其它 SOTA 推理模型在不同的數(shù)學(xué)基準(zhǔn)上的結(jié)果。

基于這些結(jié)果，該團(tuán)隊(duì)得出了三點(diǎn)觀察：

1. rStar-Math 顯著提高了小語言模型（SLM）的數(shù)學(xué)推理能力，在模型規(guī)模顯著縮?。?.5B-7B）的情況下，其性能可媲美甚至超越 OpenAI o1。
2. 盡管使用了較小的策略模型（1.5B-7B）和獎勵模型（7B），rStar-Math 的表現(xiàn)仍明顯優(yōu)于最先進(jìn)的 System 2 基線。
3. 除了 MATH、GSM8K 和 AIME 等可能存在過度優(yōu)化風(fēng)險(xiǎn)的知名基準(zhǔn)之外，rStar-Math 在其他具有挑戰(zhàn)性的數(shù)學(xué)基準(zhǔn)上表現(xiàn)出很強(qiáng)的通用性，包括 Olympiad Bench、College Math 和 Chinese College Entrance Math Exam（Gaokao），創(chuàng)下了新的最高分。

擴(kuò)展測試時(shí)間計(jì)算。rStar-Math 使用了 MCTS 來增強(qiáng)策略模型，在 PPM 的引導(dǎo)下搜索問題的解。通過增加測試時(shí)間計(jì)算，它可以探索更多軌跡，從而可能實(shí)現(xiàn)性能提升。

在圖 3 中，該團(tuán)隊(duì)通過比較官方 Qwen Best-of-N 在四個高難度數(shù)學(xué)基準(zhǔn)上不同數(shù)量的采樣軌跡的準(zhǔn)確度，展示了測試時(shí)間計(jì)算擴(kuò)展的影響。

消融研究和分析

該團(tuán)隊(duì)也進(jìn)行了消融研究，證明了三項(xiàng)創(chuàng)新的有效性。

自我進(jìn)化的有效性。表 5 展示了經(jīng)過 4 輪 rStar-Math 自我進(jìn)化深度思考后得到的結(jié)果?？梢钥吹?，表現(xiàn)很不錯。

表 6 給出了每一輪的數(shù)學(xué)推理性能，可以明顯看到其準(zhǔn)確度在不斷提高。

表 7 則展示了在不同數(shù)據(jù)集上微調(diào)的 Qwen2.5-Math-7B 的數(shù)學(xué)推理準(zhǔn)確度。

該團(tuán)隊(duì)給出了兩項(xiàng)重要觀察：

• 使用新提出的逐步驗(yàn)證的軌跡進(jìn)行微調(diào)明顯優(yōu)于所有其他基線。這主要?dú)w功于用于代碼增強(qiáng)型 CoT 合成的 PPM 增強(qiáng)型 MCTS，它能在數(shù)學(xué)解答生成期間提供更密集的驗(yàn)證。
• 使用該團(tuán)隊(duì)的小語言模型，即使隨機(jī)采樣代碼增強(qiáng)型 CoT 解答，得到的結(jié)果也可媲美或優(yōu)于 GPT-4 合成的 NuminaMath 和 MetaMath 數(shù)據(jù)集。這表明，經(jīng)過幾輪自我進(jìn)化后，新的策略 SLM 可以生成高質(zhì)量的數(shù)學(xué)解答。這些結(jié)果證明新方法在不依賴高級 LLM 蒸餾的情況下，就具備自我生成更高質(zhì)量推理數(shù)據(jù)的巨大潛力。

另外，在最后一輪策略模型的基礎(chǔ)上，該團(tuán)隊(duì)比較了 ORM、PQM 和 PPM 在 System 2 推理上的性能。結(jié)果見表 8。

可以看到，PQM 和 PPM 都優(yōu)于 ORM，因?yàn)樗鼈兛商峁└芗牟襟E級獎勵信號，從而在復(fù)雜的數(shù)學(xué)推理任務(wù)上獲得更高的準(zhǔn)確度。然而，由于 Q 值固有的不精確性，PQM 在更難的基準(zhǔn)測試（例如 MATH 和 Olympiad Bench）上表現(xiàn)不佳。相比之下，PPM 構(gòu)建了步驟級偏好數(shù)據(jù)進(jìn)行訓(xùn)練，使該團(tuán)隊(duì)的 7B 策略模型在所有基準(zhǔn)測試中都能夠?qū)崿F(xiàn)與 o1-mini 相當(dāng)或更優(yōu)的性能。

發(fā)現(xiàn)與討論

模型出現(xiàn)自我反思能力

OpenAI o1 的一個重要突破是它能自省。當(dāng)它出錯時(shí)，o1 能識別錯誤并自我糾正。這在開源 LLM 中一直難以實(shí)現(xiàn)。在實(shí)驗(yàn)中，該團(tuán)隊(duì)意外發(fā)現(xiàn) MCTS 驅(qū)動的深度思考展現(xiàn)出了反思能力。如圖 4 所示，模型最初在前三步使用 SymPy 形式化方程會寫出錯誤答案（左分支）。

在我們的實(shí)驗(yàn)中，我們意外地觀察到我們的 MCTS 驅(qū)動的深度思考在解決問題過程中表現(xiàn)出自反思。如圖 4 所示，模型最初在前三步使用 SymPy 形式化方程，這將導(dǎo)致答案錯誤 (左分支)。

但在第四步，模型就識別出了前幾步的問題（右分支），并主動回溯采用更簡單的方法重新求解，最終得到正確答案。

值得注意的是，這種自反思能力是在沒有專門訓(xùn)練和提示的情況下自發(fā)產(chǎn)生的，表明高級 System 2 推理可以自然培養(yǎng)出內(nèi)在的自省能力。

PPM 塑造 System 2 深度思考的推理邊界

策略模型和獎勵模型對 System 2 深度推理都至關(guān)重要。實(shí)驗(yàn)表明，一旦策略模型達(dá)到相當(dāng)強(qiáng)的能力水平，PPM 就成為決定性能上限的關(guān)鍵。

如下圖 5 所示，通過加入 System 2 推理機(jī)制，即使是 Phi3.8B 這樣的小模型也能獲得顯著性能提升，在多個數(shù)學(xué)基準(zhǔn)測試中的準(zhǔn)確率提高了約 20-30 個百分點(diǎn)。這表明，獎勵模型（而不是基礎(chǔ)模型的大?。┎攀菦Q定最終性能的關(guān)鍵因素。

更多研究細(xì)節(jié)，請參閱論文原文。