最新大語言模型推理測試引眾議，DeepSeek R1常常在提供錯誤答案前就“我放棄”了？？

Cursor剛剛參與了一項研究，他們基于NPR周日謎題挑戰(zhàn)（The Sunday Puzzle），構(gòu)建了一個包含近600個問題新基準測試。

這些謎題特點是很好理解，不需要專業(yè)知識就能看懂，然鵝解決起來卻沒那么容易。

舉個栗子：

想一個熟悉的五個字母、兩個音節(jié)的單詞。將中間字母改為字母表中該字母前面的字母，你將得到一個熟悉的五個字母、三個音節(jié)的單詞。這個單詞是什么？

標準答案是alpha → aloha，很容易驗證。

但這樣的題，即便是在美國長大講英語的成年人，五天也很難解出來。

研究人員用此最新基準，對OpenAI o1、OpenAI o3-mini、DeepSeek R1和Google Gemini Flash Thinking等模型進行測試，結(jié)果發(fā)現(xiàn)這些最新一代的推理模型解決這樣的謎題也很具挑戰(zhàn)性。

他們還表示，研究揭示了一些新的模型“故障”模式，這在現(xiàn)有的基準測試中并不明顯。

比如DeepSeek R1會在推理過程中直接放棄，然后給一個它明知是錯誤的答案，有時還會陷入“無限思考”狀態(tài)。

具體來看看是怎么回事。

周日謎題挑戰(zhàn)數(shù)據(jù)集

NPR Sunday Puzzle Challenge，是美國一檔廣播智力游戲節(jié)目，自1987年以來一直在播，每周日聽眾都會收到一個簡短謎題。

這些謎題通常涉及字母游戲，只需要普通的英語知識和美國文化常識就能理解。

不過每個謎題通常只有一個或極少數(shù)正確答案，題目難度各異，即便聽眾有整整五天的時間思考，有時最后也只有少數(shù)聽眾能想出正確答案。而當答案揭曉時，聽眾們都會恍然大悟覺得這個答案既正確又優(yōu)雅。

最近，來自韋爾斯利學院、得克薩斯大學奧斯汀分校、查理大學、Cursor、歐柏林學院、美國東北大學的研究團隊，從網(wǎng)上抓取了13年的周日謎題挑戰(zhàn)記錄構(gòu)建了一個數(shù)據(jù)集。

他們認為，目前一些最新基準測試用非常難的任務(wù)評估模型，比如大學級數(shù)學競賽問題、編程問題以及需要在學術(shù)領(lǐng)域深入的領(lǐng)域?qū)I(yè)知識問題，這種設(shè)計不僅對人類來說難以解決，而且也非常難以理解和驗證。

也就是說，大多數(shù)人或無法檢查答案是否確實正確，或無法驗證模型在推理上是否正確且有效。

于是，他們從這個節(jié)目的“off-air challenges”中整理出了近600個問題作為測試數(shù)據(jù)集。

這些題目很好理解且便于驗證。

在整理過程中，他們補充了必要的上下文信息（時間、地點等），比如在一個關(guān)于電影名稱的謎題中，特意標注了具體年份，避免歧義。

電影Wild Wild West的首字母縮寫是三個W。請問去年2013年哪部著名電影的首字母縮寫有兩個W？
標準答案：The Wolf Of Wall Street

為確保每個問題的答案清晰明確，大多數(shù)挑戰(zhàn)都有一個或少數(shù)幾個獨特答案，像下面這樣嬸兒有許多答案的問題都被pass掉了：

然后團隊用該基準評估了一眾頂流推理模型，包括OpenAI o1、o1-mini、o3-mini，DeepSeekR1、谷歌Gemini 2.0 Flash Thinking Experimental01-21，作為對照，還測試了不具備推理功能的GPT-4o和Claude Sonnet 3.5。

測試采用zero-shot prompting，直接向模型提供問題，不給任何額外的格式說明或指導。

不過有些謎題題目本身自帶示例說明：

SWITZERLAND（瑞士）的字母可以重新排列成LIZARD（蜥蜴）和NEWTS（蠑螈）兩個單詞，LIZARD是一個動物的單數(shù)形式，而NEWTS是復數(shù)形式。請再說出另一個具有相同特性的國家。即另一個其字母可以重新排列來拼寫兩種動物——一個單數(shù)和一個復數(shù)的國家。它是一個主要國家。這個國家是哪一個？

標準答案：Mexico（墨西哥） → ox（牛），mice（老鼠）

團隊給出的最終測試結(jié)果卻出人意料。

根據(jù)下圖該基準的平均準確率，OpenAI o1表現(xiàn)最優(yōu)，準確率為59%；然后是o3-mini，準確率為47%，DeepSeek R1準確率為35%。

不具備推理功能的GPT-4o和Claude Sonnet 3.5明顯不如推理模型。

出人意料的點在于，在博士級科學問題GPQA基準上，DeepSeek R1、OpenAI o1和o3-mini的表現(xiàn)差距不大，然而在該基準上o1在通用知識方面卻顯示出明顯的優(yōu)勢。

團隊還觀察到一些新的模型“故障”模式——推理半道“I give up”。

這種放棄表現(xiàn)出兩種形式，一種是給出一個在推理過程中完全沒有出現(xiàn)過的“憑空”答案。

另一種是明知違反問題約束但仍然給出答案，常發(fā)生在下面這種問題中：

想一個包含三個音節(jié)的八個字母的單詞，每個音節(jié)中都包含字母“I”，但奇怪的是，沒有一個“I”發(fā)音，無論是長音還是短音。答案不是復數(shù)形式。這個單詞是什么？

標準答案：Daiquiri

以DeepSeek R1為例，它給出了“queueing”這個答案，并直接表示這個答案“有點牽強”，還解釋有些人可能會把“queueing”發(fā)音為“kyoo-ee-ing”。

團隊表示，在595個測試問題中，DeepSeek R1在142個問題上明確“放棄”。

此外，他們還發(fā)現(xiàn)R1等會陷入“無限思考”的狀態(tài)，在達到32768token上下文輸出限制前無法完成推理，并沒有</think>。

特別在以下兩個挑戰(zhàn)中R1表現(xiàn)不佳，在10次試驗中有5次未能完成推理。

即使將限制提高到128K，這個問題仍然存在，由此，團隊認為R1需要某種推理時機控制機制，鼓勵模型在接近輸出token限制時結(jié)束推理。

研究人員還發(fā)現(xiàn)，這些推理模型有時會表現(xiàn)出異常的不確定性，可能會提出一個答案，馬上又收回，然后嘗試給出新答案。

在某些情況下，模型很早就找到了正確答案，但仍會繼續(xù)探索其它可能性。

最后團隊分析了推理長度與準確率的關(guān)系，發(fā)現(xiàn)在輸出約10000個token后，繼續(xù)推理對提升準確率的幫助不大。

對于R1來說，在輸出約3000 token時就開始超過Gemini Thinking的表現(xiàn)。

新基準引發(fā)網(wǎng)友熱議

這項研究發(fā)布后，在Hacker News上引起網(wǎng)友熱烈討論。

其中最具爭議的一個點在于，有網(wǎng)友認為這項研究并非傳統(tǒng)意義上的“推理”挑戰(zhàn)：

解決這些問題所需的核心技能似乎是知曉“流行品牌名”或“知名演員”等類別的所有已知名稱，檢查它們是否符合。

作為人類，你可能會因為不知道某個特別名稱而永遠無法回答某個問題，例如不是美國人，我不知道“Citgo”是什么，我這輩子從未見過這個名。

網(wǎng)友表示這的確是一個AI系統(tǒng)原則上可能真正擅長的事情，但當測試內(nèi)容過于側(cè)重“記憶回憶”時，把它稱為“推理”似乎很奇怪。

如果問題是多項選擇的，消除了讓候選答案浮現(xiàn)在腦海中的挑戰(zhàn)，那么我會同意這是一個“推理”測試。

持此觀點的網(wǎng)友不在少數(shù)。

我有同樣的想法。這讓我想起解決Project Euler問題，通常存在一種明顯的簡單方法可以保證得出正確答案，但如果執(zhí)行到完成，將消耗過多的內(nèi)存/計算資源。如果提示模型制定一種有效解決這些挑戰(zhàn)的策略，而不是直接解決它們，模型的表現(xiàn)可能會好得多……這表明了一個潛在的改進方向。

另外，針對模型表現(xiàn)不一，也有網(wǎng)友提出能否確定這些謎題和答案沒被加到模型的訓練數(shù)據(jù)中的疑問。

聚焦到研究結(jié)果上，網(wǎng)友對研究中的發(fā)現(xiàn)很感興趣：

有趣的是，模型在推理中經(jīng)常包含正確答案，但卻沒能意識到這一點。

數(shù)草莓問題中“r”這一問題也再被網(wǎng)友搬出，有網(wǎng)友認為模型表現(xiàn)不佳的關(guān)鍵還是在分詞器上。

對于這項研究你怎么看？

論文鏈接：https://arxiv.org/abs/2502.01584
測試結(jié)果和數(shù)據(jù)集：https://huggingface.co/spaces/nuprl/verbal-reasoning-challenge
參考鏈接：https://news.ycombinator.com/item?id=42992336