ARC Prize，曾在去年底 OpenAI 12 天連發(fā)的最后一天賺盡了眼球，其發(fā)布已經(jīng) 5 年的基準(zhǔn) ARC-AGI 首次迎來了得分達(dá)到優(yōu)良等級的挑戰(zhàn)者：o3 系列模型。參閱機器之心報道《剛剛，OpenAI 放出最后大驚喜 o3，高計算模式每任務(wù)花費數(shù)千美元》。

自那以后已經(jīng)過去了兩個多月，AI 領(lǐng)域早已經(jīng)迎來了巨大的改變，其中尤其值得提及的便是 DeepSeek-R1 模型。憑借開源和低成本等優(yōu)勢，這款性能強大的推理模型不僅已經(jīng)成為國內(nèi) AI 或云服務(wù)商的標(biāo)配，還正被集成到越來越多的應(yīng)用和服務(wù)中，甚至原來很多原本與 AI 沒有直接關(guān)聯(lián)的應(yīng)用也以接入 DeepSeek 為賣點進行宣傳。

那么，DeepSeek-R1 的 ARC-AGI 成績?nèi)绾文?？根?jù) ARC Prize 發(fā)布的報告，R1 在 ARC-AGI-1 上的表現(xiàn)還趕不上 OpenAI 的 o1 系列模型，更別說 o3 系列了。但 DeepSeek-R1 也有自己的特有優(yōu)勢：成本低。

來源：https://arcprize.org/blog/r1-zero-r1-results-analysis

上周六，ARC Prize 又發(fā)布了一個新的基準(zhǔn)，這一次 DeepSeek-R1 不僅超過了 o1-mini，與 o3-mini 的差距也非常小。

這個新基準(zhǔn)名為 SnakeBench，是一個 1v1 的對抗性基準(zhǔn)。其思路很簡單：將兩個 LLM 放在一起進行貪吃蛇比賽。如下展示了一局 o3-mini 與 DeepSeek-R1 的對抗。

• 官方網(wǎng)站：https://snakebench.com
• 項目地址：https://github.com/gkamradt/SnakeBench

SnakeBench：緣起

ARC Prize 的推文表示，SnakeBench 的設(shè)計靈感來自著名 AI 研究科學(xué)家 Andrej Karpathy 的一條推文，其中涉及到了讓 AI 智能體在游戲中進行對抗以進行評估的思路。（這條推文還涉及到另一個使用游戲來評估 LLM 的基準(zhǔn) TextArena，感興趣的讀者可訪問：https://www.textarena.ai ）

ARC Prize 表示，使用游戲作為評估環(huán)境可以檢驗 LLM 的多種能力，包括：

• 實時決策
• 多重目標(biāo)
• 空間推理
• 動態(tài)環(huán)境

模型的表現(xiàn)

ARC Prize 報告說他們目前已經(jīng)使用 50 個 LLM 進行了總共 2800 場比賽，為這些模型的「貪吃蛇實時策略和空間推理」能力排了個座次。

具體過程是怎樣的呢？

首先，以文本格式提供兩個 LLM 角逐的棋盤，其中會通過提示詞明確說明所用的 XY 坐標(biāo)系。因此需要明確，這里提供的并非真正的 2D 表示 —— 這種信息轉(zhuǎn)譯可能會丟失某些空間推理信息。下面展示了一個提示詞示例：

在游戲進行時，首先隨機初始化每條蛇。然后要求兩條蛇（LLM）同時選擇下一步動作。當(dāng)一條蛇撞到墻、撞到自己或撞到另一條蛇時，游戲結(jié)束。之后，根據(jù)游戲結(jié)果計算每條蛇的 Elo 評分。

以下為完整榜單：

據(jù)介紹，整體來說，Big Llama、o1、o3、Sonnet 3.5 和 DeepSeek 的表現(xiàn)最好，而其它 LLM 總是會撞墻。下面展示了幾局效果最好的比賽：

ARC Prize 官網(wǎng)還詳細(xì)列出了這四局比賽的完整詳情，下面展示了其中第二局（DeepSeek-R1 vs o3-mini）的詳情。在這里，不僅可以看到 LLM 每一步的選擇，而且還能看到 LLM 為每一步選擇給出的理由。當(dāng)然，對于 DeepSeek-R1 模型，我們還可以清楚地看到其完整的思考過程。

Dry Merge CTO Sam Brashears 還注意到了一個非常有趣的回合。此時，o3-mini 和 DeepSeek 同時與一個蘋果相鄰，而它們竟然同時認(rèn)為對方不會冒險吃這個蘋果，于是決定自己去吃，結(jié)果導(dǎo)致雙雙斃命。

此時，DeepSeek 想的是：「如果我向右移動到 (8,7) ，同時如果蛇 1 也向左移動，則有與蛇 1 相撞的風(fēng)險。但是，為了保證分?jǐn)?shù)，吃到蘋果優(yōu)先于規(guī)避風(fēng)險。」

而此時 o3-mini 也有類似的想法：「盡管我們的敵蛇（蛇 2）的頭位于 (7,7) 處，也有可能想吃這個蘋果，但沒有強烈的跡象表明它會冒險用自己更長的身體與我正面碰撞。因此，吃到蘋果的直接好處大于風(fēng)險?！?/span>

以下是 ARC Prize 總裁 Greg Kamradt 總結(jié)的幾點關(guān)鍵發(fā)現(xiàn)：

• 推理模型占據(jù)主導(dǎo)：o3-mini 和 DeepSeek 贏得了 78% 的比賽。
• LLM 經(jīng)常誤解以文本格式提供的棋盤布局。這會導(dǎo)致模型錯誤地定位蛇頭的位置，或者導(dǎo)致蛇撞到自己的尾巴。
• 較低檔的模型（包括 GPT-3.5 Turbo 和 Haiku）表現(xiàn)不佳，而只有 GPT-4、Gemini 2.0 和 o3-mini 表現(xiàn)出足夠的策略游戲推理能力。這說明基本的空間推理仍然是 LLM 面臨的巨大挑戰(zhàn)。大多數(shù)模型都無法跟蹤自己的位置，并且會犯明顯的錯誤。
• 上下文很關(guān)鍵。為了讓 LLM 做出正確選擇，需要讓其加載大量信息，包括棋盤位置、蘋果位置、其它蛇的位置等。

有趣的是，這種 LLM 對抗競技顯然很容易復(fù)現(xiàn)，CoreView 聯(lián)合創(chuàng)始人兼 CTO Ivan Fioravanti 便基于 Ollama 讓 deepseek-r1:32b 與 qwen2.5-coder:32b 進行了貪吃蛇比賽。

另外也有用戶分享了自己讓具有視覺能力的 LLM 玩貪吃蛇的經(jīng)歷，不過不同于 SnakeBench 的結(jié)果，反倒是 Gemini 表現(xiàn)最好。