UC伯克利：讓推理模型少思考，準確率反而更高了！
讓推理模型不要思考，得到的結(jié)果反而更準確？
UC伯克利新研究發(fā)現(xiàn)，強制要求模型跳過思考過程，推理能力卻比正常思考還好。
例如在定理證明任務(wù)當中，“不思考”模式僅使用30%的Token，就能實現(xiàn)和完整思考一樣的準確率。
特別是施加Token限制之后，“不思考”模式的效果變得更加明顯。
這究竟是怎么一回事呢？來看下UC伯克利發(fā)表的論文。
跳過思考，推理模型反而更強了
論文的研究目的，是比較顯式思考過程（Thinking）和跳過思考過程（NoThinking）的效果差異，并在不同約束條件下評估這兩種方法的表現(xiàn)。
研究使用DeepSeek-R1-Distill-Qwen-32B作為主要實驗模型，該模型通過在Qwen-32B基礎(chǔ)上使用DeepSeek-R1生成的數(shù)據(jù)進行蒸餾得到。
為了確保結(jié)果的可靠性，研究同時選擇了Qwen-32B-Instruct作為基線模型，并在7B和14B規(guī)模的相同架構(gòu)模型上進行了驗證實驗。
在數(shù)據(jù)集的選擇上，研究力求全面覆蓋不同類型的推理任務(wù)：
- 在數(shù)學問題方面，既包含了AIME 2024、AIME 2025、AMC 2023等標準難度的測試集，也包含了更具挑戰(zhàn)性的OlympiadBench數(shù)學子集；
- 在編程能力評估方面，使用了持續(xù)更新的LiveCodeBench v2版本；
- 在定理證明領(lǐng)域，則通過MiniF2F測試形式化數(shù)學推理能力，通過ProofNet評估邏輯和定理證明能力。
實驗首先進行了基礎(chǔ)性能評估，也就是在不限制token的情況下比較三種方法的表現(xiàn)。研究團隊詳細記錄了每種方法在不同k值下的pass@k性能表現(xiàn)和token使用量。
結(jié)果顯示，在無預算限制的情況下，NoThinking在定理證明任務(wù)上能夠以30%的token用量達到與Thinking相似的性能，兩種方法都明顯優(yōu)于基線模型。
在其他任務(wù)上，雖然NoThinking的初始pass@1性能較低，但隨著k值增加會逐漸追平Thinking的表現(xiàn)，同時token使用量減少
隨后，實驗引入了預算強制，通過設(shè)置token限制來進行對照實驗。
具體來說，當模型達到預設(shè)的token預算時，系統(tǒng)會強制其生成最終答案，如果此時模型仍在思考框內(nèi)，則會在最終答案標簽前添加結(jié)束思考標記。
研究分別在低預算（約3000tokens以下）和高預算（約3500tokens）兩種場景下進行了詳細測試。
在預算受限的場景下，NoThinking在低預算情況下（<3000 tokens）完全優(yōu)于Thinking，這種優(yōu)勢會隨著k值的增加而擴大。
在高預算場景下（~3500 tokens），盡管Thinking在pass@1上略有優(yōu)勢，NoThinking從k=2開始就展現(xiàn)出更好的性能。
在并行擴展測試中，研究根據(jù)任務(wù)特性采用了不同的評估方法。
對于有完美驗證器的任務(wù)（如形式定理證明），可以直接使用驗證器選擇最佳答案，并詳細記錄延遲和token使用量；
對于沒有驗證器的任務(wù)，研究實現(xiàn)了多數(shù)投票機制和基于置信度的選擇策略，通過實驗比較了不同選擇策略的效果。
對于具有驗證器的任務(wù)，NoThinking可以在將延遲降低至1/7、token使用量減少至1/4的同時，保持與傳統(tǒng)方法相似的準確率。
在沒有驗證器的任務(wù)中，比如AMC 2023和OlympiadBench，NoThinking甚至超越了完整版Thinking的表現(xiàn)，同時可將延遲降低至1/9。
為了避免實驗結(jié)果受到數(shù)據(jù)污染的影響，研究團隊專門使用了新發(fā)布的AIME 2025數(shù)據(jù)集進行驗證。
結(jié)果作者發(fā)現(xiàn)。相同的性能模式在新舊數(shù)據(jù)集上都能穩(wěn)定重現(xiàn)，這證實了研究發(fā)現(xiàn)反映了模型的真實行為特征。
大模型“思考過程”引熱議
Hacker News上，有人表示這項研究讓其對大模型的思考有了新的認識：
過去我認為大模型“思考”很有用，是因為它可以把更多的概念帶到上下文當中，但現(xiàn)在看似乎不是？
還有人想到了Claude廠商Anthropic前些天發(fā)表的報告，其中指出大模型輸出的“思考過程”不一定代表其真實想法。
這份報告的實驗發(fā)現(xiàn)，Claude 3.7 Sonnet僅在25%的情況下在其思維鏈中提及收到的提示信息，DeepSeek R1則為39%，意味著大多數(shù)情況下模型不會忠實反映其真實決策過程。
Anthropic的這份報告，引起了針對大模型“思考過程”的熱烈討論。
有人表示，思維鏈有效的關(guān)鍵是產(chǎn)生了更多用于“思考”的計算，但如果用它來展示模型工作過程，那只不過是額外的上下文。
但也有人認為Anthropic的研究并沒有切中問題要害，因為模型的訓練過程就是為了獲得正確答案而優(yōu)化，不能指望這樣的訓練方式能夠讓模型準確說出推理過程。
作者簡介
本論文第一作者是UC伯克利博士生馬文潔，導師是Matei Zaharia副教授和Sewon Min助理教授研究重點是理解和提升語言模型的推理能力，以及測試時計算。
馬文潔本科畢業(yè)于南京大學計算機學院，期間曾參加該學院的PASCAL（編程語言與統(tǒng)計分析）研究組。
另一名華人作者何靜軒，目前在UC伯克利從事博士后研究，研究興趣為機器學習和計算機安全，合作導師是宋曉冬（Dawn Song）教授。
何靜軒博士和本科分別畢業(yè)于蘇黎世聯(lián)邦理工學院和浙江大學。
另外，UC伯克利博士生Charlie Snell、Tyler Griggs，以及一作馬文潔的兩名導師也參與了此項研究。
