OpenAI 在本周一(2024年5月13號(hào))推出了一款名為 GPT-4o 的新旗艦級(jí)生成式AI模型。這里的“o”代表“全能”，因?yàn)檫@款模型能夠處理文本、語(yǔ)音和視頻三種不同的輸入。在未來(lái)幾周內(nèi)，GPT-4o 將逐步應(yīng)用于公司針對(duì)開(kāi)發(fā)者和消費(fèi)者的各類(lèi)產(chǎn)品。

OpenAI 的技術(shù)總監(jiān) Mira Murati 表示，雖然 GPT-4o 仍然保持著 GPT-4 的智能水平，但它在多種媒介和模式上進(jìn)行了顯著的提升。Murati 在周一于舊金山的 OpenAI 辦公室通過(guò)網(wǎng)絡(luò)演講指出：“GPT-4o 能夠跨語(yǔ)音、文本和視覺(jué)進(jìn)行推理。這一能力極其關(guān)鍵，因?yàn)樗砹宋覀兣c機(jī)器互動(dòng)的未來(lái)方向。”

此前的 GPT-4 Turbo 是 OpenAI 的前沿模型，通過(guò)圖像和文本的結(jié)合訓(xùn)練，能夠完成從提取圖像中的文本到描述圖像內(nèi)容等任務(wù)。新的 GPT-4o 在此基礎(chǔ)上添加了語(yǔ)音處理功能。

這一改進(jìn)將使用應(yīng)用場(chǎng)景更加豐富。

例如，GPT-4o 極大地優(yōu)化了 OpenAI 的AI聊天機(jī)器人 ChatGPT 的使用體驗(yàn)。盡管該平臺(tái)之前已提供語(yǔ)音模式，使用文本到語(yǔ)音技術(shù)轉(zhuǎn)換機(jī)器人的回答，但 GPT-4o 的加入使得與 ChatGPT 的互動(dòng)更加貼近真實(shí)的助理體驗(yàn)。

用戶(hù)現(xiàn)在可以在 ChatGPT 回答問(wèn)題時(shí)中斷它，而這款模型可以實(shí)時(shí)響應(yīng)。OpenAI 指出，它甚至能夠捕捉到用戶(hù)聲音中的細(xì)微變化，并據(jù)此生成不同情感風(fēng)格的回答，包括唱歌。

此外，GPT-4o 還提升了 ChatGPT 在圖像處理方面的能力。無(wú)論是分析一張照片還是電腦屏幕，ChatGPT 現(xiàn)在能夠迅速解答從“這段軟件代碼是用來(lái)做什么的？”到“這個(gè)人穿的是哪個(gè)品牌的襯衫？”等各種問(wèn)題。

OpenAI 的技術(shù)總監(jiān) Murati 指出，他們的新模型 GPT-4o 將在未來(lái)展示更多先進(jìn)的功能。目前，GPT-4o 可以翻譯不同語(yǔ)言的菜單圖片，未來(lái)可能還能實(shí)時(shí)“觀看”體育比賽并向觀眾解釋比賽規(guī)則。

Murati 強(qiáng)調(diào)：“盡管這些模型越來(lái)越復(fù)雜，我們還是希望用戶(hù)與之交互時(shí)感覺(jué)更自然、更簡(jiǎn)便。我們的目標(biāo)是讓用戶(hù)遠(yuǎn)離復(fù)雜的用戶(hù)界面，更多地專(zhuān)注于與 ChatGPT 的互動(dòng)。這些年我們一直在努力提升模型的智能化水平，而現(xiàn)在，我們?cè)谑褂帽憷陨弦矊?shí)現(xiàn)了質(zhì)的飛躍?！?/p>

此外，OpenAI 表示，GPT-4o 在處理多語(yǔ)言方面也有顯著提升，可以支持約50種語(yǔ)言。在 OpenAI 的 API 和 Microsoft 的 Azure OpenAI 服務(wù)中，GPT-4o 的速度是前一代模型 GPT-4 Turbo 的兩倍，成本只有一半，并且具備更高的請(qǐng)求限制。

由于存在濫用風(fēng)險(xiǎn)，GPT-4o 的語(yǔ)音功能目前還未向所有客戶(hù)開(kāi)放。OpenAI 計(jì)劃在未來(lái)幾周內(nèi)首先向一小批受信任的合作伙伴開(kāi)放新的音頻功能。

從今天起，GPT-4o 將在 ChatGPT 的免費(fèi)版本中提供，同時(shí)，對(duì)于訂閱了 OpenAI 高級(jí)服務(wù) ChatGPT Plus 和團(tuán)隊(duì)計(jì)劃的用戶(hù)，消息限額提高了5倍。一旦用戶(hù)達(dá)到使用限制，系統(tǒng)將自動(dòng)切換到較舊的 GPT-3.5 模型。針對(duì) Plus 用戶(hù)的基于 GPT-4o 的語(yǔ)音體驗(yàn)改進(jìn)版將在下個(gè)月初推出，同時(shí)也將提供面向企業(yè)的服務(wù)選項(xiàng)。

在其他相關(guān)更新中，OpenAI 宣布推出新版的 ChatGPT 網(wǎng)頁(yè)界面，界面更注重對(duì)話(huà)性，還推出了 macOS 版本的 ChatGPT 桌面應(yīng)用，用戶(hù)可以通過(guò)鍵盤(pán)快捷鍵提問(wèn)或討論截圖。從今天開(kāi)始，ChatGPT Plus 用戶(hù)將優(yōu)先獲得應(yīng)用訪問(wèn)權(quán)限，Windows 版本將在今年晚些時(shí)候發(fā)布。

此外，OpenAI 的 GPT Store 現(xiàn)已向所有 ChatGPT 免費(fèi)用戶(hù)開(kāi)放。該庫(kù)為第三方聊天機(jī)器人提供了基于 AI 模型的創(chuàng)建工具。免費(fèi)用戶(hù)還可以享受以前需要付費(fèi)的功能，如記憶功能，允許 ChatGPT 記住用戶(hù)的偏好設(shè)置，上傳文件和照片，以及搜索網(wǎng)絡(luò)回答實(shí)時(shí)問(wèn)題。

GPT-4o模型評(píng)估

**文本評(píng)估：**GPT-4o 在推理能力上取得了顯著的進(jìn)步——在不提供初始樣本常識(shí)性問(wèn)題測(cè)驗(yàn)（ 0-shot COT MMLU）中，GPT-4o 取得了88.7%的高分記錄。這些評(píng)測(cè)結(jié)果是使用我們新開(kāi)發(fā)的簡(jiǎn)易評(píng)測(cè)庫(kù)（鏈接將在新窗口中打開(kāi)）來(lái)收集的。同時(shí)，在傳統(tǒng)的提供五個(gè)樣本（5-shot）無(wú)鏈?zhǔn)酵评恚╪o-CoT）的MMLU評(píng)測(cè)中，GPT-4o 也刷新了紀(jì)錄，達(dá)到了87.2%的得分。

音頻語(yǔ)音識(shí)別性能：GPT-4o 在語(yǔ)音識(shí)別方面相比于 Whisper-v3 取得了巨大進(jìn)步。無(wú)論是資源豐富的語(yǔ)言還是資源較少的語(yǔ)言，GPT-4o 在所有語(yǔ)言上的表現(xiàn)都有顯著提升，尤其在那些資源較少的語(yǔ)言上，其改進(jìn)尤為明顯。

**音頻翻譯性能：**GPT-4o 在語(yǔ)音翻譯領(lǐng)域創(chuàng)立了新的行業(yè)高標(biāo)準(zhǔn)，并且在 MLS 基準(zhǔn)測(cè)試中的表現(xiàn)超過(guò)了 Whisper-v3。

M3Exam 基準(zhǔn)：M3Exam 基準(zhǔn)測(cè)試同時(shí)涉及多語(yǔ)言和視覺(jué)評(píng)估，包含了來(lái)自不同國(guó)家標(biāo)準(zhǔn)化考試的多項(xiàng)選擇題，題目中有時(shí)會(huì)出現(xiàn)圖表和示意圖。在所有語(yǔ)種的這項(xiàng)測(cè)試中，GPT-4o 相比 GPT-4 顯示出了更優(yōu)的表現(xiàn)。

**視覺(jué)理解評(píng)估：**GPT-4o 在視覺(jué)感知基準(zhǔn)測(cè)試上達(dá)到了最先進(jìn)的性能。所有的視覺(jué)評(píng)估都是在沒(méi)有任何先前示例的情況下完成的（0-shot），包括 MMMU、MathVista 和 ChartQA 這些測(cè)試都采用了0-shot鏈?zhǔn)酵评恚–oT）方法。