馬斯克突發(fā)新版大模型，犧牲特斯拉資源叫板OpenAI，Grok-2一手實測來了
馬斯克旗下xAI大模型，出二代了！
Grok-2測試版發(fā)布，小杯Grok-2 mini已經(jīng)在??平臺在線可玩。
馬斯克還以謎語人的形式，揭曉了困擾大模型圈一個多月的秘密：
原來Lmsys大模型競技場上的神秘匿名模型sus-column-r，真身就是Grok-2。
sus-column-r在排行榜上積累了1萬多人類投票，已經(jīng)與GPT-4o的API版并列第三。
在xAI自己的內(nèi)部測試中，Grok-2在常識（MMLU、MMLU-Pro）、數(shù)學(xué)競賽問題 (MATH)、研究生水平科學(xué)知識 (GPQA)等領(lǐng)域與其他前沿模型相媲美。
另外Grok-2最擅長基于視覺的任務(wù)，在視覺數(shù)學(xué)推理 (MathVista) 達(dá)到SOTA。
不過這個圖的排版可就有點心機(jī)在里面了：把分?jǐn)?shù)最高的GPT-4o、Claude-3.5-Sonnet放得離自己遠(yuǎn)一些。
光看分?jǐn)?shù)還是抽象，下面就進(jìn)入一手實測環(huán)節(jié)。
一手實測Grok-2
如果你是??/推特平臺付費(fèi)用戶，可以直接進(jìn)入Grok頻道試玩。不花錢的話也可以到Lmsys大模型競技場選擇sus-column-r試玩。
而且付費(fèi)用戶反倒只能玩到小杯mini版，免費(fèi)用戶能玩大杯，也是很厚到了。
由于Grok-2可以訪問??上的實時數(shù)據(jù)，可以直接讓他總結(jié)當(dāng)天的新聞，開啟趣味模式的話還可以附贈吐槽。
付費(fèi)版本還接入了最新開源AI生圖模型Flux.1，會把中文提示詞翻譯成英文理解。
點進(jìn)主頁上的“安利一個奇幻游戲”問題示例，可以看到它先推薦了《博德之門3》，并從劇情、人物自定義、游戲機(jī)制、世界塑造、幽默元素和玩家社區(qū)幾個角度做點評，很好的把握了游戲的亮點。
此時可以直接換中文繼續(xù)提問。
Grok-2同樣了解《黑神話：悟空》這款還沒發(fā)售的游戲，準(zhǔn)確說出發(fā)售日期在8月20日、使用的虛幻5引擎，并且總結(jié)了??上網(wǎng)友的討論。
還在最后附帶了網(wǎng)友的帖子，可以點進(jìn)去參與討論，與整個平臺的功能整合已經(jīng)到位了。
不過由于??上只有mini版模型，接下來上強(qiáng)度測試我們移步大模型競技場，還可以與GPT-4o來一場捉對pk。
在最近流行的智商檢測問題“9.9和9.11哪個大”上，Grok-2（sus-column-r）表現(xiàn)碾壓ChatGPT最新版本。
不過另一項流行測試“strawberry中有幾個r”問題上，兩者都還是沒能通過。（多試幾次兩者都有小概率答對）。
更嚴(yán)肅一些的陷阱題“以下哪支蠟燭是最先被吹滅的”中，Grok-2比ChatGPT稍有進(jìn)步。
考點是最先被吹滅的蠟燭剩下的部分更長（正確答案3），ChatGPT錯誤的理解成最短的，Grok-2思路是對的但是數(shù)哪個最長沒數(shù)對。
對于經(jīng)典的大模型弱點“逆轉(zhuǎn)詛咒”問題，兩者似乎都以某種方式克服了。不僅能正著回答“湯姆克魯斯的母親是誰”，也能倒過來回答數(shù)據(jù)出現(xiàn)頻率更少的“Mary Lee Pfeiffer的兒子是湯姆克魯斯”。
（當(dāng)然不排除只是成為經(jīng)典問題之后，相關(guān)數(shù)據(jù)更多了。）
馬斯克大模型升級，犧牲特斯拉換的
測試先告一段落，可以看出Grok-2對比上一代Grok-1.5有了很大進(jìn)步。
背后馬斯克可是，花費(fèi)了大量資源和人力。
比如有新加入xAI的研究員表示，能用10萬卡集群做研究，比起在學(xué)校里可憐的資源爽太多了。
但是有一群人可不滿意了：特斯拉股東。
根據(jù)華爾街日報消息，馬斯克持續(xù)把人才、數(shù)據(jù)和GPU資源從特斯拉向xAI轉(zhuǎn)移。
目前為止，xAI已經(jīng)雇傭了至少11名曾在特斯拉工作過的員工，其中六名直接在Autopilot團(tuán)隊工作過。
原本為特斯拉保留的GPU訂單，馬斯克也要求英偉達(dá)優(yōu)先供應(yīng)xAI。
馬斯克還公開談?wù)摿颂厮估占拇罅恳曈X數(shù)據(jù)，他表示這些數(shù)據(jù)可以作為訓(xùn)練xAI模型的資源。
至少三位特斯拉股東因為這事把馬斯克給告了，聲稱將資源轉(zhuǎn)移到xAI損害了特斯拉投資者的利益。
目前案件正在特拉華州法院審理。
Lmsys大模型競技場試玩：???https://arena.lmsys.org??
本文轉(zhuǎn)自 量子位 ，作者：量子位
