一周前，谷歌的 Gemini-Exp-1114 模型取代 GPT-4o，坐上了 Arena 榜單的頭把交椅。

對(duì)于苦苦追趕 OpenAI 幾個(gè)月的谷歌來(lái)說(shuō)，這次在基準(zhǔn)測(cè)試上的勝利十分振奮人心。

可惜振奮的時(shí)間不長(zhǎng)：昨天，GPT-4o 一個(gè)更新，把第一名的位置搶回來(lái)了。

奧特曼慶功的話(huà)音剛落，Gemini-Exp-1121 殺出來(lái)，又把第一名搶走了。

谷歌工程師還順帶嘲諷了一波：

位次的變化實(shí)在太快，讓人有點(diǎn)恍惚了。難道接下來(lái)，大模型迭代要以「周」為單位了嗎？

狂卷基準(zhǔn)測(cè)試，真有意義嗎？

有人猜測(cè)，莫非這就是谷歌逐漸過(guò)渡到 Gemini 2 的發(fā)布方式？但這種可能性不大，因?yàn)樽罱膬蓚€(gè)模型版本都還達(dá)不到「次世代」的水準(zhǔn)。再加上又有傳言，各家在訓(xùn)練階段的 Scaling Law 上都遇到了一些瓶頸，提升模型能力的希望更多轉(zhuǎn)向了后訓(xùn)練階段。我們最終看到的下一代大模型，或許和目前的技術(shù)路線(xiàn)大不相同。

目前，Gemini-Exp-1114 和 Gemini-Exp-1121 在 Google AI Studio 上均為可用狀態(tài)：

從官方發(fā)布的介紹來(lái)看，Gemini-Exp-1114 的亮點(diǎn)主要在于質(zhì)量改進(jìn)，而最新的 Gemini-Exp-1121 重點(diǎn)改進(jìn)了編碼、推理和視覺(jué)能力。

這場(chǎng)爭(zhēng)奪戰(zhàn)的出現(xiàn)，卻引出了另外一個(gè)角度的話(huà)題：當(dāng)前的人工智能基準(zhǔn)測(cè)試方法可能大大簡(jiǎn)化了模型評(píng)估。

就比如一周前，當(dāng)研究人員控制了響應(yīng)格式和長(zhǎng)度等表面因素時(shí)，Gemini-Exp-1114 的表現(xiàn)下降到第四位，因?yàn)閭鹘y(tǒng)指標(biāo)可能會(huì)夸大感知能力。

這種差異揭示了人工智能評(píng)估中的一個(gè)根本問(wèn)題：模型可以通過(guò)優(yōu)化表面特征而不是展示推理或可靠性的真正改進(jìn)來(lái)獲得高分。對(duì)定量基準(zhǔn)的關(guān)注引發(fā)了一場(chǎng)爭(zhēng)奪更高分?jǐn)?shù)的競(jìng)賽，行業(yè)對(duì)排行榜的依賴(lài)也會(huì)催生一些不良激勵(lì)方式，而這些都無(wú)關(guān)于人工智能的真正進(jìn)步。

各個(gè)廠商針對(duì)特定測(cè)試場(chǎng)景優(yōu)化模型，同時(shí)可能忽略安全性、可靠性和實(shí)用性等更廣泛的問(wèn)題。這種方法產(chǎn)生的 AI 系統(tǒng)擅長(zhǎng)完成狹隘的預(yù)定任務(wù)，但在處理細(xì)微的現(xiàn)實(shí)世界互動(dòng)時(shí)卻舉步維艱。

比如有人就發(fā)現(xiàn)在 LiveBench 上，一周后更新的 Gemini-Exp-1121 版本，在數(shù)學(xué)和推理能力上反而比不上 Gemini-Exp-1114，令人疑惑。

廠商之間為獲得更高的基準(zhǔn)分?jǐn)?shù)而展開(kāi)的競(jìng)爭(zhēng)并不會(huì)停止，但真正的競(jìng)爭(zhēng)可能在于如何開(kāi)發(fā)全新的框架來(lái)評(píng)估和確保人工智能系統(tǒng)的安全性和可靠性。

OpenAI 考慮用瀏覽器挑戰(zhàn)谷歌霸主地位

谷歌和 OpenAI 不僅在大模型領(lǐng)域有點(diǎn)針?shù)h相對(duì)，在瀏覽器方面，OpenAI 正在加緊追趕。

當(dāng)谷歌 Chrome 瀏覽器深陷反壟斷之際，OpenAI 出手了。

據(jù)《Information》周四報(bào)道，OpenAI 最近考慮開(kāi)發(fā)一款可與其 ChatGPT 聊天機(jī)器人集成的 web 瀏覽器，并推出了 NLWeb（Natural Language Web）搜索技術(shù)，以增強(qiáng)對(duì)旅游、食品、房地產(chǎn)和零售等行業(yè)的搜索。

報(bào)道還稱(chēng)，OpenAI 已與 Conde Nast、Redfin、Eventbrite 和 Priceline 等網(wǎng)站和應(yīng)用程序開(kāi)發(fā)商討論過(guò)這款搜索產(chǎn)品。

據(jù)知情人士透漏，為了達(dá)到這一目標(biāo)，OpenAI 聘請(qǐng)了谷歌 Chrome 團(tuán)隊(duì)創(chuàng)始成員 Ben Goodger 以及其他前 Chrome 關(guān)鍵開(kāi)發(fā)人員進(jìn)行研發(fā)，展現(xiàn)了 OpenAI 對(duì)開(kāi)發(fā)瀏覽器濃厚的興趣。

領(lǐng)英資料顯示，此前 Ben Goodger 是 Chrome 團(tuán)隊(duì)的創(chuàng)始成員，今年 6 月加入 OpenAI

這一系列舉措可能會(huì)讓 OpenAI 與占據(jù)瀏覽器和搜索市場(chǎng)最大份額的谷歌展開(kāi)競(jìng)爭(zhēng)。此前，OpenAI 已經(jīng)通過(guò) SearchGPT 進(jìn)入搜索市場(chǎng)。

報(bào)道還稱(chēng)，OpenAI 討論了為三星制造的設(shè)備提供人工智能功能，而三星是谷歌的主要商業(yè)合作伙伴。

此前，OpenAI 已經(jīng)與蘋(píng)果建立了合作伙伴關(guān)系，Apple Intelligence 功能現(xiàn)已使用 OpenAI 的技術(shù)。

不過(guò)，目前尚不清楚 OpenAI 何時(shí)會(huì)推出瀏覽器，《Information》報(bào)道稱(chēng)，OpenAI 距離推出瀏覽器還差得很遠(yuǎn)。

如今看來(lái)，谷歌不僅面臨來(lái)自 OpenAI 的壓力，在美國(guó)司法部認(rèn)為谷歌應(yīng)該出售其 Chrome 瀏覽器以結(jié)束其在在線(xiàn)搜索領(lǐng)域的壟斷地位后，谷歌在瀏覽器市場(chǎng)的主導(dǎo)地位變得岌岌可危。

如果 OpenAI 成功推出新的瀏覽器，它將成為谷歌最大的競(jìng)爭(zhēng)對(duì)手。

吃瓜網(wǎng)友們也是紛紛看好 OpenAI，表示道「OpenAI 是非常有潛力開(kāi)發(fā)出一款非常棒的瀏覽器的，因?yàn)樗麄儸F(xiàn)在已經(jīng)有了搜索功能。」

不過(guò)也有網(wǎng)友并不看好：「就我個(gè)人而言，瀏覽器對(duì)我已經(jīng)沒(méi)什么用了，因?yàn)槲椰F(xiàn)在只需向聊天機(jī)器人提問(wèn)，就能立即得到答案，而且無(wú)需廣告或嘗試多個(gè)頁(yè)面?！?/span>

還有人用一個(gè)故事表達(dá)了自己的觀點(diǎn)：「Nicholas Negroponte 曾經(jīng)討論過(guò)超級(jí)計(jì)算機(jī)的應(yīng)用，并講述了一個(gè)關(guān)于他們展示科學(xué)計(jì)算器應(yīng)用的故事。所有的投資者都非常生氣 ——『我們花費(fèi)了數(shù)百萬(wàn)美元，而你們所做的只是重新創(chuàng)建了計(jì)算器？我們已經(jīng)有計(jì)算器了！』如果 OpenAI 開(kāi)發(fā)一款瀏覽器，我認(rèn)為可能會(huì)發(fā)生同樣的事情。」

我們暫且不管 OpenAI 何時(shí)推出瀏覽器，單就最近幾天這兩家機(jī)構(gòu)在模型更新速度上，就已經(jīng)相當(dāng)激烈了，OpenAI 正面剛谷歌還會(huì)繼續(xù)。