昨晚，OpenAI 突然上線新模型 GPT-4o mini， 聲稱要全面取代 GPT-3.5 Turbo。

在性能方面，GPT-4o mini 在 MMLU 上的得分為 82%，在 LMSYS 排行榜的聊天方面分?jǐn)?shù)優(yōu)于 GPT-4。

在價(jià)格方面，GPT-4o mini 比之前的 SOTA 模型便宜一個(gè)數(shù)量級(jí)，商用價(jià)格是每百萬(wàn)輸入 token 15 美分，每百萬(wàn)輸出 token 60 美分，比 GPT-3.5 Turbo 便宜 60% 以上。

OpenAI 表示，ChatGPT 的免費(fèi)版、Plus 版和 Team 用戶將能夠從周四開(kāi)始訪問(wèn) GPT-4o mini（其知識(shí)截至 2023 年 10 月），以代替 GPT-3.5 Turbo，企業(yè)用戶可以從下周開(kāi)始訪問(wèn)。

目前，GPT-4o mini 在 WildBench 測(cè)試上排名第九，優(yōu)于谷歌的 Gemini-flash 以及 Anthropic 的 Claude 3 Haiku。

在今天的凌晨的文章中，我們已經(jīng)介紹了 GPT-4o mini 的一些基本情況（參見(jiàn)《GPT-4o Mini 深夜突發(fā)：即刻免費(fèi)上線，API 降價(jià) 60%》）。在這篇文章中，我們將補(bǔ)充介紹模型的實(shí)際使用體驗(yàn)以及這份工作背后的研究者。

GPT-4o mini 一手評(píng)測(cè)

在 GPT-4o mini 開(kāi)放測(cè)試的第一時(shí)間，我們問(wèn)了它一個(gè)最近比較熱門(mén)的話題，9.11 和 9.9 哪個(gè)大，很遺憾，GPT-4o mini 依然沒(méi)有答對(duì)，還一本正經(jīng)地回答 0.11>0.9。

接著我們?cè)?Poe（Quora 開(kāi)發(fā)的應(yīng)用程序，已經(jīng)集成了 GPT-4o mini）中輸入人物傳記電影《Eno》的設(shè)計(jì)封面，讓兩個(gè)模型解讀，結(jié)果 mini 翻車了。GPT-4o mini 直接表示「自己認(rèn)不出照片上的人?！?/span>

與之相對(duì)的，GPT-4o 的回答就比較準(zhǔn)確?！高@張圖片看起來(lái)像是一幅拼貼畫(huà)，由一張照片的多個(gè)碎片組成，照片中是一位留著白胡子、身穿亮粉色襯衫的老人。這幅圖由同一張照片的不同部分創(chuàng)造性地排列而成，產(chǎn)生了馬賽克或拼圖般的效果。照片中的男子表情若有所思，手撫摸著臉?！?/span>

接著我們又測(cè)試了另一個(gè)問(wèn)題：在客廳的桌子上放著一個(gè)杯子，杯子里有一個(gè)戒指。這個(gè)杯子被移到了書(shū)房的桌子上，然后移到了臥室的床上。在那里，杯子被翻倒了一次，然后又恢復(fù)了原樣。之后，杯子被放回了客廳的桌子上。那么，現(xiàn)在戒指在哪里呢？如果我們分開(kāi)問(wèn)，答案不一樣，GPT-4o 似乎更聰明點(diǎn)。

但是，如果我們一起發(fā)問(wèn)，它們的答案又會(huì)變得雷同：

GPT-4o mini 回答數(shù)學(xué)題的表現(xiàn)如何呢？機(jī)器之心用丘成桐少年班 2024 年選拔試題測(cè)試了一下它解決數(shù)學(xué)問(wèn)題的能力。

雖然 GPT-4o mini 對(duì)問(wèn)題的解讀都比較清晰，但在分析過(guò)程中出現(xiàn)「胡言亂語(yǔ)」的邏輯錯(cuò)誤，像極了上數(shù)學(xué)課根本聽(tīng)不懂但硬答的學(xué)生。

不過(guò)也不必著急，畢竟 GPT-4o 的回答更不理想，它甚至沒(méi)有看懂?dāng)?shù)字表示的是正方形的邊長(zhǎng)。

在文字的總結(jié)能力上，GPT-4o mini 與 GPT-4o 的能力不相上下。都能將重點(diǎn)信息進(jìn)行抓取，但 GPT-4o 的回答更顯條理。

不過(guò)主打「Faster for everyday tasks」的 GPT-4o mini，響應(yīng)速度確實(shí)對(duì)得起「Faster」之稱。和它對(duì)話，幾乎無(wú)需等待，輸出速度也是快得離譜。

日本網(wǎng)友用 GPT-4o mini 搭建了一款 AI 聊天機(jī)器人，響應(yīng)速度依然快得驚人。

來(lái)自推特 @maKunugi

還有網(wǎng)友將 GPT-4o  和 GPT-4o  mini 輸出速度進(jìn)行了對(duì)比，GPT-4o  mini 明顯更快：

來(lái)自推特 @moz_ai_tech

從大家體驗(yàn)效果上來(lái)看，GPT-4o  mini 主打一個(gè)字「快」，但實(shí)際使用體驗(yàn)可能還是差了一些。

作者介紹

隨著 GPT-4o mini 的發(fā)布，很多人表示 OpenAI 又一次給大家?guī)?lái)了一點(diǎn)點(diǎn)震撼。其實(shí)，這背后是一群年輕的學(xué)者，還有多位華人的身影。

GPT-4o mini 項(xiàng)目負(fù)責(zé)人是 Mianna Chen。

Mianna Chen 于去年 12 月加入 OpenAI，此前在谷歌 DeepMind 任產(chǎn)品主管。

她在普林斯頓大學(xué)獲得學(xué)士學(xué)位，2020 年獲得賓夕法尼亞大學(xué)沃頓商學(xué)院 MBA 學(xué)位。

該項(xiàng)目的其他領(lǐng)導(dǎo)者還包括 Jacob Menick、Kevin Lu、Shengjia Zhao、Eric Wallace、Hongyu Ren、Haitang Hu、Nick Stathas、Felipe Petroski Such。

Kevin Lu 是 OpenAI 的一名研究員，2021 年畢業(yè)于加州大學(xué)伯克利分校。曾與強(qiáng)化學(xué)習(xí)大牛 Pieter Abbeel 等人一起研究強(qiáng)化學(xué)習(xí)和序列建模。

Shengjia Zhao 于 2022 年 6 月加入，現(xiàn)在是 OpenAI 的一名研究科學(xué)家，主攻 ChatGPT。他的主要研究方向是大語(yǔ)言模型的訓(xùn)練和校準(zhǔn)。此前，他本科畢業(yè)于清華大學(xué)，博士畢業(yè)于斯坦福大學(xué)。

Hongyu Ren 在去年 7 月加入，現(xiàn)在是 OpenAI 的一名研究科學(xué)家，他還是 GPT-4o 的核心貢獻(xiàn)者，并致力于 GPT-Next 的研究。Hongyu Ren 本科畢業(yè)于北京大學(xué)、博士畢業(yè)于斯坦福大學(xué)。此前，他在蘋(píng)果、谷歌、英偉達(dá)、微軟等工作過(guò)。

Haitang Hu 于去年 9 月加入 OpenAI，曾任職于谷歌。他本科畢業(yè)于同濟(jì)大學(xué)、碩士畢業(yè)于霍普金斯約翰大學(xué)。

Karpathy：模型變小是自然趨勢(shì)

這次，OpenAI 還是發(fā)了 GPT-4 的衍生模型。所以很多人還是會(huì)問(wèn)：GPT-5 啥時(shí)候來(lái)？

這個(gè)問(wèn)題目前沒(méi)有官方信息。但從 OpenAI 等 AI 巨頭紛紛發(fā)布小模型的動(dòng)作來(lái)看，小模型正在成為一個(gè)新戰(zhàn)場(chǎng)。

OpenAI 創(chuàng)始成員 Karpathy 對(duì)此表示，「LLM 模型大小競(jìng)爭(zhēng)正在加劇…… 但方向是相反的」！

我敢打賭，我們會(huì)看到非常小的模型，它們思考得非常好，而且非常可靠。甚至 GPT-2 參數(shù)的設(shè)置很可能會(huì)讓大多數(shù)人認(rèn)為 GPT-2 很智能。

當(dāng)前模型如此之大的原因在于我們?cè)谟?xùn)練過(guò)程中表現(xiàn)得很浪費(fèi) —— 我們要求 LLM 記住互聯(lián)網(wǎng)上的整個(gè)內(nèi)容，令人驚訝的是，它們確實(shí)可以做到，例如背誦常用數(shù)字的 SHA 哈希值，或者回憶起非常深?yuàn)W的事實(shí)。（實(shí)際上，LLM 非常擅長(zhǎng)記憶，比人類好得多，有時(shí)只需要一次更新就可以長(zhǎng)時(shí)間記住很多細(xì)節(jié)）。

但想象一下，如果你要接受閉卷考試，考卷要求你根據(jù)前幾句話背誦互聯(lián)網(wǎng)上的任意段落。這是當(dāng)今模型的（預(yù)）訓(xùn)練目標(biāo)。想要做的更好，面臨著一個(gè)難點(diǎn)，在訓(xùn)練數(shù)據(jù)中，思考的展示與知識(shí)「交織」在一起的。

因此，模型必須先變大，然后才能變小，因?yàn)槲覀冃枰鼈儯ㄗ詣?dòng)化）的幫助來(lái)重構(gòu)和塑造訓(xùn)練數(shù)據(jù)，使其成為理想的合成格式。

這是一個(gè)改進(jìn)的階梯 —— 一個(gè)模型幫助生成下一個(gè)模型的訓(xùn)練數(shù)據(jù)，直到我們得到「完美的訓(xùn)練集」。當(dāng)你用 GPT-2 對(duì)其進(jìn)行訓(xùn)練時(shí)，按照今天的標(biāo)準(zhǔn)， 它會(huì)成為一個(gè)非常強(qiáng)大、智能的模型。也許它在 MMLU（大規(guī)模多任務(wù)語(yǔ)言理解） 方面會(huì)低一點(diǎn)，因?yàn)樗粫?huì)完美地記住所有的細(xì)節(jié)。也許它偶爾需要查找一下，以確保信息的準(zhǔn)確性。

按照 Karpathy 的說(shuō)法，以后小模型會(huì)變得越來(lái)越多，越來(lái)越好用。這個(gè)領(lǐng)域的競(jìng)爭(zhēng)會(huì)有多激烈？我們拭目以待。