隨著上個月 2025 研究生考試的結束，最新的考研數(shù)學真題成為大語言模型尤其是推理模型的「試煉場」，將考驗它們的深度思考能力。

業(yè)內曾有著這樣一種共識：大語言模型在文字水平上的表現(xiàn)令人印象深刻，但說到數(shù)學就不甚令人滿意了。去年一度火出圈的「9.9 與 9.11」比大小的問題，包括 GPT-4o 在內的很多大模型都翻車了，直到深度推理模型出現(xiàn)后才從根本上改善了這一狀況。

OpenAI 發(fā)布的 o1 模型在涉及復雜和專業(yè)的數(shù)理問題方面表現(xiàn)讓人印象深刻，大模型在經過一定時間仔細思忖后，回答問題的能力和準確度大幅提升，這種被稱為推理側 Scaling Law 的現(xiàn)象已經成為繼續(xù)推動大模型能力提升的關鍵力量。在黃仁勛最新 CES 2025 的演講中，他也把測試時（即推理）Scaling 形容為大模型發(fā)展的三條曲線之一。

可以看到，繼 o1 之后，國內大模型廠商也陸續(xù)推出了自己的深度推理模型，并在某些任務上有亮眼的表現(xiàn)。數(shù)了一下時間軸大概是這樣的：

• 2024 年 11 月 21 日，深度求索團隊發(fā)布 DeepSeek-r1 模型；
• 2024 年 11 月 28 日，阿里通義團隊發(fā)布 QwQ 模型；
• 2024 年 12 月 16 日，月之暗面團隊發(fā)布 Kimi-k1 模型；
• 2024 年 12 月 31 日，智譜 GLM 團隊發(fā)布 GLM-Zero 模型；
• 2025 年 1 月 6 日，昆侖萬維發(fā)布 Skywork-o1 模型。

大家也許會好奇，這些深度推理模型的能力（尤其是數(shù)學推理能力）到底有多強，又是誰能拔得頭籌呢？這時就需要一場公平的標準化考試了。

清華 SuperBench 大模型測評團隊（以下簡稱測評團隊）為了全面評估這些模型在數(shù)學推理方面的能力，結合 2025 年考研數(shù)學（一、二、三）的試題，專門對以上各家深度推理模型進行了嚴格的評測。同時，為了確保評測的全面性，參與評測的還包括各家的旗艦基礎模型。

此次選擇的 13 個模型具體如下：

從結果來看，所有模型中以平均分計，第一名是 OpenAI 的 GPT-o1模型，這也是沒什么意外的。第二名則是來自智譜的 GLM-Zero-Preview，它以三門數(shù)學平均 138.70 的成績僅次于 o1，成為國產大模型第一，且距第一名不到 3 分。第三名則是來自通義的 QwQ。

測試方法

在本次評測過程中，測評團隊發(fā)現(xiàn)并非所有模型均提供 API 支持，且部分提供 API 服務的模型在輸出內容長度超出一定限制時，會出現(xiàn)內容截斷的情況。為確保評測工作的公正性與準確性，測評團隊決定統(tǒng)一采用各模型廠商的網頁端進行測試操作。

在測試過程中，每道題目均在獨立的對話窗口中進行，以此消除上下文信息對測試結果可能產生的干擾。

鑒于部分模型輸出存在一定不穩(wěn)定性，為降低由此引發(fā)的分數(shù)波動，測評團隊設定當同一模型在三次測試中有兩次及以上回答正確時，方將其記錄為正確答案。

結果分析

接下來從測試總分、單張試卷分數(shù)、深度思考模型 vs 基礎模型三個方面來詳細分析此次測評的結果。

總分

對于總分數(shù)，測評團隊對三張試卷的分數(shù)進行求和并計算平均值，按照分數(shù)高低進行排序。結果如下圖所示：

從圖中可以看到，GPT-o1 仍然處于領先的地位，是唯一一個達到 140 分以上的模型，相較于排名末位的 GPT-4，分數(shù)優(yōu)勢高達 70 分。

位于第二梯隊（130 分以上）的模型有 GLM-zero-preview 和 QwQ，分別斬獲 138.7 分和 137.0 分。

DeepSeek-r1-lite、Kimi-k1、Tiangong-o1-preview、DeepSeek-v3 則處于第三梯隊（120 分以上）。

可以看出，深度思考模型普遍能夠達到 120 + 的水平。這也彰顯了深度思考模型在解決數(shù)學問題方面的強大能力。

值得注意的是，曾于 2023 年位居榜首的基礎模型 GPT-4，在本次測試中僅獲 70.7 分，位列末席。這一結果表明，在過去一年（2024 年）中，語言模型在數(shù)學推理領域的進步顯著。

而另一方面，在缺乏深度思考能力輔助的情況下，僅憑邏輯推理能力，DeepSeek-v3 作為基礎模型，已經能夠躋身第三梯隊，這說明基礎模型和深度思考模型之間的能力并非界限分明。

單張試卷分析

為了更清晰地展現(xiàn)大模型在各張試卷答題能力方面的表現(xiàn)，測評團隊對每張試卷的錯題分布情況進行了深入分析。

在數(shù)學一的評測過程中，GPT-o1、GLM-zero-preview、QwQ、DeepSeek-r1-lite 四款模型的得分相同。通過進一步剖析錯題情況，測評團隊發(fā)現(xiàn)所有模型均在第 20 題（12 分，涉及曲面積分求解）以及第 21 題第二問（6 分，涉及特征向量求解）上出現(xiàn)了錯誤。

在數(shù)學二的評測中，各模型的分數(shù)分布較為分散。經統(tǒng)計分析發(fā)現(xiàn)，第 3 題、第 5 題、第 7 題成為所有模型犯錯的集中區(qū)域。具體錯題分布情況如下圖所示：

針對數(shù)學三的評測結果顯示，模型出錯的重災區(qū)主要集中在第 14 題、第 15 題、第 16 題、第 19 題。相關錯題分布情況如下圖所示：

綜合上述各試卷錯題的具體分析，我們可以清晰地看到，GPT-o1（陰影列所示）在總計 66 道題目中，僅答錯 3.5 道題；并且 GPT-o1 答錯的題目，其他模型亦普遍存在錯誤，這顯示了 GPT-o1 目前依然是深度推理模型的天花板。

基礎模型 vs 深度思考模型

最后，為了全面深入地探究各模型廠商在深度思考能力優(yōu)化方面所取得的成果，測評團隊對相應基礎模型與深度思考模型進行了細致對比分析。

需要說明的是，此處對比并非意味著各深度思考模型是基于對應基礎模型所做優(yōu)化，其主要目的在于直觀呈現(xiàn)各廠商在模型綜合能力提升方面的進展與成效。

相關對比結果如下圖所示：

注：OpenAI 的基礎模型采用的是 GPT-4o。

通過對比分析，OpenAI 的深度思考模型 GPT-o1 相較于基礎模型 GPT-4o，提升幅度最為顯著，達到 57.3 分。緊隨其后的是阿里的 Qwen 模型和智譜的 GLM 模型，提升幅度分別為 47.0 分和 34.3 分。

另外，深度求索和月之暗面的提升幅度相對較小，這主要是由于其基礎模型本身分數(shù)較高。以深度求索為例，其基礎模型 DeepSeek-v3 初始分數(shù)高達 120.3 分，在參評基礎模型中位居榜首。

在本次測試中，測評團隊選取表現(xiàn)最為優(yōu)異的基礎模型 DeepSeek-v3 作為參照基準，進而對各廠商深度思考模型的性能提升情況進行評估，相關數(shù)據(jù)呈現(xiàn)如下圖所示：

可以看出，OpenAI、智譜、阿里在深度思考模型上的性能提升做了很大的優(yōu)化，而 DeepSeek-v3 等其他模型在本項測試中的結果基本接近。

這些測試結果一一看下來，我們可以發(fā)現(xiàn)：雖然 OpenAI 的 o1 在深度推理方面仍然是最強的，但國產推理大模型正在逐漸縮小與它的差距，此次智譜 GLM-zero-preview 和阿里 QwQ 的成績說明了這一點。