在 AI 的世界里，數(shù)學(xué)推理一直是個(gè)讓人又愛(ài)又恨的難題。為啥呢？因?yàn)樗粌H需要理解抽象的概念，還得精準(zhǔn)地進(jìn)行多步邏輯推理。以前的語(yǔ)言模型，雖然生成文本很流暢，但遇到復(fù)雜的數(shù)學(xué)問(wèn)題，就像讓一個(gè)文科生去解奧數(shù)題，常常無(wú)從下手。不過(guò)，最近 NVIDIA 發(fā)布的 OpenMath-Nemotron 系列模型，直接把這個(gè)問(wèn)題給解決了！今天，咱們就來(lái)好好聊聊這個(gè)厲害的 AI 新星。

數(shù)學(xué)推理，為啥這么難？

數(shù)學(xué)推理就像是 AI 領(lǐng)域的一座高山。它需要 AI 不僅要理解數(shù)學(xué)概念，還要像人類一樣進(jìn)行邏輯推理。比如，解決一個(gè)復(fù)雜的幾何題，不僅要記住公式，還得知道怎么一步步推導(dǎo)。傳統(tǒng)的語(yǔ)言模型雖然能生成很流暢的文本，但面對(duì)這種需要深度邏輯的數(shù)學(xué)問(wèn)題，就顯得力不從心了。這就像是讓一個(gè)擅長(zhǎng)寫(xiě)散文的人去解復(fù)雜的數(shù)學(xué)題，難度可想而知。

NVIDIA 的新武器：OpenMath-Nemotron 系列

NVIDIA 這次發(fā)布的 OpenMath-Nemotron 系列模型，可以說(shuō)是專門為數(shù)學(xué)推理量身定制的。這個(gè)系列包括了兩個(gè)版本：OpenMath-Nemotron-32B 和 OpenMath-Nemotron-14B-Kaggle。它們都是基于 Qwen 家族的 Transformer 模型，通過(guò)大規(guī)模的微調(diào)訓(xùn)練，專門針對(duì)數(shù)學(xué)問(wèn)題進(jìn)行了優(yōu)化。

OpenMath-Nemotron-32B：旗艦版的強(qiáng)大力量

OpenMath-Nemotron-32B 是這個(gè)系列的旗艦版本，擁有 328 億個(gè)參數(shù)，采用了 BF16 張量操作，硬件利用效率極高。它是通過(guò)對(duì) Qwen2.5-32B 在 OpenMathReasoning 數(shù)據(jù)集上進(jìn)行微調(diào)訓(xùn)練而成的。這個(gè)數(shù)據(jù)集包含了來(lái)自數(shù)學(xué)競(jìng)賽和標(biāo)準(zhǔn)化考試的高難度問(wèn)題，可以說(shuō)是為數(shù)學(xué)推理量身定制的。

這個(gè)模型在多個(gè)嚴(yán)格的基準(zhǔn)測(cè)試中都取得了頂尖的成績(jī)。比如，在 2024 年和 2025 年的美國(guó)數(shù)學(xué)邀請(qǐng)賽（AIME）和哈佛-麻省理工數(shù)學(xué)競(jìng)賽（HMMT）中，它的表現(xiàn)都超過(guò)了之前的頂尖模型。在工具集成推理（TIR）模式下，它在 AIME24 上的平均通過(guò)率達(dá)到了 78.4%，多數(shù)投票準(zhǔn)確率更是高達(dá) 93.3%。

三種推理模式，滿足不同需求

為了讓這個(gè)模型適應(yīng)不同的推理場(chǎng)景，OpenMath-Nemotron-32B 支持三種不同的模式：思維鏈（CoT）、工具集成推理（TIR）和生成式解選擇（GenSelect）。

• 思維鏈（CoT）模式：這個(gè)模式會(huì)先生成中間的推理步驟，然后再給出最終答案。在 AIME24 上，它的通過(guò)率達(dá)到了 76.5%。
• 生成式解選擇（GenSelect）模式：這個(gè)模式會(huì)生成多個(gè)候選解，然后選擇最一致的答案。在 AIME24 上，它的準(zhǔn)確率達(dá)到了驚人的 93.3%。

這三種模式讓用戶可以根據(jù)需求平衡解釋的豐富性和答案的精確性，無(wú)論是需要透明度的研究環(huán)境，還是需要速度和可靠性的生產(chǎn)環(huán)境，都能找到合適的解決方案。

OpenMath-Nemotron-14B-Kaggle：小而精的競(jìng)賽利器

除了 32B 版本，NVIDIA 還發(fā)布了 OpenMath-Nemotron-14B-Kaggle，這是一個(gè)擁有 148 億參數(shù)的模型，專門針對(duì)競(jìng)賽場(chǎng)景進(jìn)行了優(yōu)化。它在 AIMO-2 Kaggle 競(jìng)賽中獲得了第一名，這個(gè)競(jìng)賽專注于解決高級(jí)數(shù)學(xué)問(wèn)題。通過(guò)調(diào)整訓(xùn)練數(shù)據(jù)，使其更符合競(jìng)賽的格式和難度，這個(gè)模型展現(xiàn)出了極高的適應(yīng)性。

在 AIME24 上，14B-Kaggle 模型在 CoT 模式下的通過(guò)率達(dá)到了 73.7%，在 GenSelect 模式下提升到了 86.7%。在 AIME25 上，它的通過(guò)率達(dá)到了 57.9%（多數(shù)投票為 64.3%），在 HMMT-24-25 上達(dá)到了 50.5%（多數(shù)投票為 64.8%）。這些數(shù)據(jù)表明，即使在參數(shù)更少的情況下，這個(gè)模型依然能夠提供高質(zhì)量的解決方案，非常適合資源受限或需要低延遲的場(chǎng)景。

開(kāi)源管道，讓開(kāi)發(fā)更輕松

NVIDIA 為這兩個(gè)模型提供了完整的開(kāi)源管道，包括數(shù)據(jù)生成、訓(xùn)練流程和評(píng)估協(xié)議。這些工作流程被集成到了 NVIDIA 的 NeMo-Skills 框架中，提供了 CoT、TIR 和 GenSelect 推理模式的參考實(shí)現(xiàn)。開(kāi)發(fā)者可以通過(guò)示例代碼快速搭建 Transformer 流水線，配置數(shù)據(jù)類型和設(shè)備映射，并解析模型輸出，從而快速開(kāi)發(fā)出查詢這些模型的應(yīng)用程序。

高效的硬件優(yōu)化

這兩個(gè)模型都經(jīng)過(guò)了優(yōu)化，可以在 NVIDIA 的 GPU 架構(gòu)上高效運(yùn)行，從 Ampere 到 Hopper 微架構(gòu)，都利用了高度優(yōu)化的 CUDA 庫(kù)和 TensorRT 優(yōu)化。對(duì)于生產(chǎn)部署，用戶可以通過(guò) Triton 推理服務(wù)器實(shí)現(xiàn)低延遲、高吞吐量的集成，無(wú)論是網(wǎng)絡(luò)服務(wù)還是批量處理流程都能輕松應(yīng)對(duì)。BF16 張量格式的采用，平衡了數(shù)值精度和內(nèi)存占用，使得這些大規(guī)模模型能夠在 GPU 內(nèi)存限制內(nèi)運(yùn)行，同時(shí)在各種硬件平臺(tái)上保持強(qiáng)大的性能。

未來(lái)展望：數(shù)學(xué)推理的新方向

NVIDIA 的 OpenMath-Nemotron 系列模型不僅在當(dāng)前的數(shù)學(xué)推理任務(wù)中表現(xiàn)出色，還為未來(lái)的發(fā)展指明了方向。未來(lái)，這些模型可能會(huì)擴(kuò)展到更高級(jí)的大學(xué)數(shù)學(xué)，支持多模態(tài)輸入（例如手寫(xiě)方程），并與符號(hào)計(jì)算引擎更緊密地集成，以驗(yàn)證和增強(qiáng)生成的解決方案。

總結(jié)：數(shù)學(xué)推理的新時(shí)代

NVIDIA 的 OpenMath-Nemotron 系列模型，通過(guò)針對(duì)數(shù)學(xué)推理的專項(xiàng)微調(diào)，成功解決了語(yǔ)言模型在數(shù)學(xué)推理上的短板。32B 參數(shù)版本在多個(gè)基準(zhǔn)測(cè)試中取得了頂尖成績(jī)，提供了三種推理模式以平衡解釋的豐富性和答案的精確性；14B-Kaggle 版本則在競(jìng)賽場(chǎng)景中表現(xiàn)出色，展現(xiàn)了在更小參數(shù)規(guī)模下的高效性。這兩個(gè)模型都通過(guò)開(kāi)源管道實(shí)現(xiàn)了完全可復(fù)現(xiàn)性，并通過(guò) NVIDIA 的 NeMo-Skills 框架提供了所有推理模式的參考實(shí)現(xiàn)。它們不僅在硬件上進(jìn)行了優(yōu)化，還為未來(lái)的高級(jí)數(shù)學(xué)應(yīng)用奠定了基礎(chǔ)。

無(wú)論是 AI 輔助教學(xué)系統(tǒng)、學(xué)術(shù)競(jìng)賽準(zhǔn)備工具，還是需要形式化或符號(hào)推理的科學(xué)計(jì)算工作流程，OpenMath-Nemotron 系列模型都展現(xiàn)出了巨大的潛力。隨著技術(shù)的不斷進(jìn)步，我們有理由相信，數(shù)學(xué)推理的 AI 新時(shí)代已經(jīng)到來(lái)！

本文轉(zhuǎn)載自公眾號(hào)Halo咯咯    作者：基咯咯

原文鏈接：??https://mp.weixin.qq.com/s/YNqjkIKol63aLdLiAJFK1A??