32B推理模型，僅用1/8數(shù)據(jù)，與同尺寸DeepSeek-R1打成平手！

就在剛剛，來自斯坦福、UC伯克利、華盛頓大學(xué)等機構(gòu)聯(lián)手發(fā)布了一款SOTA級推理模型——OpenThinker-32B，并同時開源了高達114k的訓(xùn)練數(shù)據(jù)。

項目主頁：https://www.open-thoughts.ai/blog/scale

Hugging Face：https://huggingface.co/open-thoughts/OpenThinker-32B

數(shù)據(jù)集：https://huggingface.co/datasets/open-thoughts/OpenThoughts-114k

團隊發(fā)現(xiàn)：采用經(jīng)DeepSeek-R1驗證標(biāo)注（基于R1蒸餾）的大規(guī)模優(yōu)質(zhì)數(shù)據(jù)集，便可訓(xùn)練出SOTA的推理模型。

具體方法，就是通過數(shù)據(jù)規(guī)?；?、推理過程驗證以及模型規(guī)模擴展。

由此得到的OpenThinker-32B，在數(shù)學(xué)、代碼和科學(xué)等多個基準(zhǔn)測試中，OpenThinker-32B性能直接碾壓了李飛飛團隊s1和s1.1模型，直逼R1-Distill-32B。

值得一提的是，相比于使用了800k數(shù)據(jù)（包含600k個推理樣本）的R1-Distill，OpenThinker-32B僅用了114k數(shù)據(jù)，就能拿下幾乎同等的優(yōu)異成績。

結(jié)果均通過開源評估框架Evalchemy計算得出

除此之外，OpenThinker-32還把模型權(quán)重、數(shù)據(jù)集、數(shù)據(jù)生成代碼、訓(xùn)練代碼上，全部都給公開了！

數(shù)據(jù)策展

研究人員使用了與之前訓(xùn)練OpenThinker-7B模型相同的OpenThoughts-114k數(shù)據(jù)集來訓(xùn)練OpenThinker-32B。

他們利用DeepSeek-R1模型，收集了精心挑選的17.3萬個問題的推理過程和解答嘗試。然后將這些原始數(shù)據(jù)作為OpenThoughts-Unverfied-173k數(shù)據(jù)集公開發(fā)布。

整個流程的最后一步是，如果推理過程未能通過驗證，就過濾掉相應(yīng)的數(shù)據(jù)樣本。

下圖可視化地展示了整個過程。

研究團隊首先輸入源數(shù)據(jù)或問題提示，這些內(nèi)容可以來自不同的領(lǐng)域和平臺，如BAAI/TACO、DeepMind、Python提交等，涉及代碼、謎題、科學(xué)和數(shù)學(xué)等多個方面。

接著這些多元的輸入會進入核心的處理模塊——DeepSeek-R1，在這里對數(shù)據(jù)進行分析與處理。這些問題會被分成三個方面，分別是：科學(xué)類問題、數(shù)學(xué)與謎題和代碼。

有些結(jié)果不需要驗證，可能是簡單的分析或直接輸出。對于一些需要深入驗證的內(nèi)容，利用大語言模型（LLM）采用與GT（Ground Truth）對比的方式進行評判。如果是代碼，執(zhí)行代碼并進行單元測試，確保代碼的正確性和有效性。

最后能將不同方向的結(jié)果結(jié)合起來，生成開放的思考和更為綜合的解決方案。

研究團隊更新了最終的OpenThoughts-114k數(shù)據(jù)集，加入了一個名為「metadata」的配置，其中包含了一些用于數(shù)據(jù)集構(gòu)建的額外列：

• problem
• ground_truth_solution
• test_cases (code only)
• starter_code (code only)
• DeepSeek_reasoning
• DeepSeek_solution
• domain
• source

這些額外的元數(shù)據(jù)將使得這個數(shù)據(jù)集更容易用于新的場景，例如數(shù)據(jù)過濾、領(lǐng)域切換、驗證檢查以及更改推理過程的模板。

這些額外的元數(shù)據(jù)將得使該數(shù)據(jù)集使用起來更加容易，僅需一行代碼就能完成例如過濾、更換領(lǐng)域、檢查驗證和更改推理跟蹤模板等。

load_dataset("open-thoughts/OpenThoughts-114k", "metadata", split="train")

研究團隊表示，他們期待看到社區(qū)利用這些問題和標(biāo)準(zhǔn)答案，在OpenThinker模型上進行強化學(xué)習(xí)（RL）的研究。DeepScaleR已經(jīng)證明，規(guī)模較小時，這種方法效果特別好。

驗證

為了得到最終的OpenThoughts-114k數(shù)據(jù)集，研究團隊對答案進行了驗證，并剔除了不正確的回答。

如下表所示，保留那些未通過驗證的推理過程可能會損害性能，盡管未經(jīng)驗證的模型與其他32B推理模型相比仍然表現(xiàn)良好。

驗證的作用在于，在擴大訓(xùn)練提示集的多樣性和規(guī)模的同時，保持R1注釋的質(zhì)量。另一方面，未經(jīng)驗證的數(shù)據(jù)可以更容易地擴展，因此也值得進一步探索。

對于代碼問題，我們通過對照已有的測試用例來驗證解答嘗試，從而完成推理過程的驗證。

受到代碼執(zhí)行過程中所面臨挑戰(zhàn)的啟發(fā)，我們在Curator中實現(xiàn)了一個代碼執(zhí)行框架，使用戶能夠大規(guī)模、安全地執(zhí)行代碼，并對照預(yù)期輸出進行驗證。

對于數(shù)學(xué)問題，研究團隊使用一個LLM（大語言模型）評判器來進行驗證，它會同時接收標(biāo)準(zhǔn)答案和DeepSeek-R1的解答嘗試。

結(jié)果發(fā)現(xiàn)，在數(shù)據(jù)生成過程中，使用LLM評判器而不是更嚴(yán)格的解析引擎（Math-Verify）進行驗證，可以獲得更高的有效數(shù)據(jù)率，并能訓(xùn)練出性能更好的下游模型。

訓(xùn)練

研究團隊使用LLaMa-Factory對Qwen2.5-32B-Instruct在OpenThoughts-114k數(shù)據(jù)集上進行了三輪微調(diào)，上下文長度為16k。完整訓(xùn)練配置可在GitHub中找到。

OpenThinker-32B在AWS SageMaker集群上使用四個8xH100 P5節(jié)點訓(xùn)練了90小時，累計使用了2,880個H100小時。

同時，OpenThinker-32B-Unverified在Leonardo超級計算機上使用96個4xA100節(jié)點（每個GPU64GB）訓(xùn)練了30小時，累計使用了11,520個A100小時。

評估

研究團隊使用開源評估庫Evalchemy（煉金術(shù)）對所有模型進行評估。

對于AIME24和AIME25，他們通過平均五次運行的結(jié)果來計算準(zhǔn)確率。評估配置使用0.7的溫度參數(shù)，將模型響應(yīng)限制在32,768個token以內(nèi)，不添加任何額外的系統(tǒng)或用戶提示詞，也不使用任何特殊的解碼策略（如預(yù)算強制）。

當(dāng)啟動OpenThoughts項目時，他們設(shè)定了一個目標(biāo)，即創(chuàng)建一個性能可以達到DeepSeek-R1-Distill-Qwen-32B的開放數(shù)據(jù)模型。

現(xiàn)在這個差距已經(jīng)幾乎消除。

最后，研究團隊為社區(qū)在過去幾周在構(gòu)建開放數(shù)據(jù)推理模型方面取得的快速進展感到振奮，并期待基于彼此的洞見繼續(xù)向前發(fā)展。

OpenThinker-32B的開源，證明了數(shù)據(jù)、驗證和模型規(guī)模的協(xié)同作用是提升推理能力的關(guān)鍵。

這一成果不僅推動了開源推理模型的發(fā)展，也為整個AI社區(qū)提供了寶貴的資源和啟示。