只是換一下數(shù)學(xué)題的變量名稱(chēng)，大模型就可能集體降智？？

斯坦福大學(xué)最新研究表明，在他們最新提出的Putnam-AXIOM測(cè)試集上，僅僅是更換一下原題目的變量名稱(chēng)、變量取值范圍，模型的準(zhǔn)確率就直線下降。

也就是說(shuō)，大模型的數(shù)學(xué)推理能力并不是真正掌握了解題邏輯，很可能只是檢索已存儲(chǔ)的題目……

即使是表現(xiàn)最好的o1-preview，它的成績(jī)也從50%下降到了33.96%，GPT-4o、Claude、Deepseek、Qwen等模型也幾乎是全軍覆沒(méi)。

要知道，模型推理能力的穩(wěn)健性可是非常重要的指標(biāo)，能代表他們是否真正掌握了解決方法：

有網(wǎng)友銳評(píng)到：o1的o不會(huì)是overfitting的o吧？（doge）

還有熱心網(wǎng)友做了解釋?zhuān)J(rèn)為模型的搜索空間會(huì)隨著深度指數(shù)級(jí)增長(zhǎng)，搜索時(shí)間越長(zhǎng)，搜索的難度也會(huì)更高。

全新無(wú)污染的數(shù)學(xué)測(cè)試基準(zhǔn)

LLM在復(fù)雜數(shù)學(xué)問(wèn)題上的推理能力逐漸成為模型發(fā)展的關(guān)鍵挑戰(zhàn)，然而現(xiàn)有的評(píng)估基準(zhǔn)，如MMLU、MMMU、GSM8K和MATH等卻面臨著很多問(wèn)題。

一方面，數(shù)據(jù)污染可能導(dǎo)致模型在評(píng)估中表現(xiàn)虛高，因?yàn)槟Ｐ涂赡茉谟?xùn)練過(guò)程中接觸到了評(píng)估基準(zhǔn)中的問(wèn)題。

另一方面，最先進(jìn)的模型在許多現(xiàn)有基準(zhǔn)上已經(jīng)達(dá)到或超過(guò)人類(lèi)水平，這使得這些基準(zhǔn)失去了應(yīng)有的評(píng)估價(jià)值。

對(duì)此，斯坦福研究團(tuán)隊(duì)提出了Putnam-AXIOM基準(zhǔn)，專(zhuān)用于評(píng)估模型在解決復(fù)雜數(shù)學(xué)問(wèn)題上的能力。

該基準(zhǔn)的原始數(shù)據(jù)集涵蓋了1985-2023年William Lowell Putnam數(shù)學(xué)競(jìng)賽的236個(gè)問(wèn)題。

隨便舉個(gè)例題大家感受一下：

這些題目涵蓋了11個(gè)不同數(shù)學(xué)領(lǐng)域的問(wèn)題，團(tuán)隊(duì)也進(jìn)行了篩選，確保能產(chǎn)生便于自動(dòng)化評(píng)估的\boxed{}答案。

同時(shí)，他們還借鑒MATH數(shù)據(jù)集的方法進(jìn)行模型評(píng)估，并設(shè)計(jì)了一個(gè)等價(jià)函數(shù)，可以解決字符串不一致問(wèn)題、和復(fù)雜的數(shù)學(xué)等價(jià)同質(zhì)化問(wèn)題。

除此之外，為防止模型在訓(xùn)練過(guò)程中遇到Putnam原問(wèn)題而出現(xiàn)評(píng)估偏差，團(tuán)隊(duì)還引入了功能變異構(gòu)建變異數(shù)據(jù)集。

變異分為變量變化（僅改變量名）和常數(shù)變化（修改數(shù)值屬性）兩類(lèi)，能生成無(wú)限多相同難度的新問(wèn)題，而且這些問(wèn)題在互聯(lián)網(wǎng)上沒(méi)有現(xiàn)成的答案。

具體的變化形式就像這樣：

在實(shí)驗(yàn)中，研究人員將1985-2023年的競(jìng)賽中的236個(gè)問(wèn)題整理成標(biāo)準(zhǔn)化格式，使用LM Harness評(píng)估框架對(duì)多個(gè)開(kāi)源模型的SOTA LLMs進(jìn)行評(píng)估。

樣本包括236個(gè)原始問(wèn)題和52個(gè)變異問(wèn)題，參與測(cè)試的模型包含OpenAI的o1-preview、GPT-4o、Claude-3.5 Sonnet等多種模型。

題目一變，模型集體懵

實(shí)驗(yàn)結(jié)果有些令人意外，模型們的表現(xiàn)都不太樂(lè)觀。

首先來(lái)看看模型們?cè)谠紨?shù)據(jù)集上的表現(xiàn)。

多數(shù)模型的準(zhǔn)確率都低于10%，曾獲AI數(shù)學(xué)奧林匹克競(jìng)賽冠軍的NuminaMath僅為4.66%，可見(jiàn)Putnam-AXIOM數(shù)據(jù)集難度真的很高。

而在變異數(shù)據(jù)集上，模型們的準(zhǔn)確率則顯著下降。

比如在原始數(shù)據(jù)集上表現(xiàn)最好的o1-preview，準(zhǔn)確率為50%，而在變異數(shù)據(jù)集中則降到了33.96%。

也就是說(shuō)，o1-preview模型在原始問(wèn)題上表現(xiàn)可能虛高，之前的得分主要是依賴(lài)記憶而非真正的推理能力。

排名第二的Claude在原始數(shù)據(jù)集上的準(zhǔn)確率為26.40%，而在變異數(shù)據(jù)集上的準(zhǔn)確率降至18.86%，其他模型的分?jǐn)?shù)也基本都下降了。

團(tuán)隊(duì)還進(jìn)一步對(duì)OpenAI o1-preview和GPT-4o的答案進(jìn)行了分析。

結(jié)果發(fā)現(xiàn)它們的錯(cuò)誤都比較嚴(yán)重，在邏輯推理和數(shù)學(xué)嚴(yán)謹(jǐn)性方面存在著明顯的缺陷。

下面一起康康幾個(gè)例子。

比如o1-preview在解答問(wèn)題時(shí)就沒(méi)能提供充分的證明，它聲稱(chēng)m的最大可能值是n，理由是m的上界是2n，但它沒(méi)有說(shuō)明為什么m的值介于n和2n之間不可行。

而GPT-4o則存在邏輯跳躍和不連貫的推理，比如在下面這道題中，它從邏輯上直接跳轉(zhuǎn)到面積最小的幾何形狀是矩形這一觀點(diǎn)，但并沒(méi)有證明這一說(shuō)法的合理性，而是將其默認(rèn)為事實(shí)。

DeepSeek的模型也在關(guān)鍵步驟思維發(fā)生了跳躍，導(dǎo)致最終結(jié)果失誤。

看來(lái)，提升大模型的數(shù)學(xué)能力還是任重道遠(yuǎn)呀！

不過(guò)斯坦福大學(xué)這篇文章中的Putnam-AXIOM基準(zhǔn)的確緩解了現(xiàn)有基準(zhǔn)飽和的問(wèn)題。

它不僅為評(píng)估模型的數(shù)學(xué)推理能力提供了一個(gè)非常有挑戰(zhàn)性的新方法，還實(shí)現(xiàn)了完全自動(dòng)化評(píng)估、并提供了豐富多樣的變體數(shù)據(jù)集。

團(tuán)隊(duì)也表示，雖然目前變體數(shù)據(jù)集生成過(guò)程復(fù)雜耗時(shí)，但未來(lái)如果能優(yōu)化變體生成方法，將更有助于加速關(guān)于人工推理的研究。

論文：https://openreview.net/forum?id=YXnwlZe0yf&noteId=yrsGpHd0Sf
代碼：https://anonymous.4open.science/r/putnam-axiom-B57C/README.md