OpenAI一夜之間，又干掉了一大批初創(chuàng)公司。

官方公布的全能模型GPT-4o的炸裂演示，即便過(guò)去了一天，依舊讓全網(wǎng)深陷其中，無(wú)法自拔。

憑借實(shí)時(shí)語(yǔ)音視頻對(duì)話，GPT-4o已經(jīng)深入教育、翻譯、視頻會(huì)議等領(lǐng)域的變革。

OpenAI科學(xué)家Lilian Weng稱，自己這次的日本之行，就用到了ChatGPT的實(shí)時(shí)翻譯能力，比如翻譯與壽司廚師對(duì)話，或在紀(jì)念品商店識(shí)別解釋不同類型巖石。

目前，一些用戶已經(jīng)灰度測(cè)試到了GPT-4o，紛紛開啟了測(cè)試。

一大波演示來(lái)襲

瞧好了，科幻版Her，正走進(jìn)現(xiàn)實(shí)。

兩個(gè)AI自主交流，解決客服索賠

ChatGPT可能最先搶走的工作，就是客服。

OpenAI研究科學(xué)家Joe Beutler放出了，全新的GPT-4o提供客戶服務(wù)支持的有趣演示。

一起看看兩個(gè)AI智能體，如何解決了客服索賠。

與客戶合作構(gòu)建變革性解決方案總能讓我備受鼓舞。我們可以利用這一最先進(jìn)模型構(gòu)建的潛在解決方案，令我興奮不已！

視頻中，兩個(gè)AI自主交流了起來(lái)，全程不用人類參與，就把問(wèn)題解決了。

OpenAI聯(lián)創(chuàng)Greg也轉(zhuǎn)發(fā)了這個(gè)經(jīng)典示例。

還有網(wǎng)友表示，準(zhǔn)備讓GPT-4o代替自己談判所有的賬單。

18世紀(jì)手寫稿，一鍵轉(zhuǎn)錄

網(wǎng)友翻出18世紀(jì)的手寫稿，讓GPT-4o再轉(zhuǎn)寫一份。

在下圖右邊回應(yīng)中，GPT-4o成功將這份筆跡識(shí)別出來(lái)，不過(guò)還是會(huì)有一些小錯(cuò)誤。

成為盲人的「眼睛」

在另一個(gè)OpenAI官方用例中，與Be My Eyes合作，為盲人提供實(shí)時(shí)助手。

在這個(gè)1分鐘演示視頻中，展示了GPT-4o強(qiáng)大到足以讓人震撼。

男主人公通過(guò)ChatGPT識(shí)別建筑物，并講解了國(guó)旗上的國(guó)徽代表著什么。

當(dāng)他走到湖前，ChatGPT非常悉心地講解了，湖水中的鴨子們?cè)谟蝸?lái)游去，不慌不忙悠閑自在，有的還在嬉戲打鬧，有的在尋找食物......

最后，盲人借助ChatGPT的「眼睛」，打到了回家的車。

有網(wǎng)友將其稱之為，GPT-4o最好的用例。它將為每個(gè)人改變世界，甚至它將為視障人士創(chuàng)造一個(gè)全新的世界。

GPT-4o輸出速度碾壓GPT-4

還有網(wǎng)友測(cè)試對(duì)比了，GPT-4o和GPT-4針對(duì)同一問(wèn)題的輸出，吞吐量有多快。

如下的對(duì)比，一眼明了。

GPT-4o+函數(shù)調(diào)用

將GPT-4o與函數(shù)調(diào)用結(jié)合起來(lái)用，更是讓人炸腦。

下面案例中，將一張錯(cuò)誤的圖片上傳之后，GPT-4o主打分析，然后函數(shù)調(diào)用工具便會(huì)搜索可能修復(fù)方法。

構(gòu)建Karpathy大模型OS

網(wǎng)友Ashpreet Bedi利用GPT-4o，去構(gòu)建了Karpathy曾提出的LLM OS，沒(méi)想到運(yùn)行速度，非常炸裂。

他還將代碼放了出來(lái)，以供大家自行操作。

GitHub地址：https://github.com/phidatahq/phidata/tree/main/cookbook/llm_os

中國(guó)小姐姐談賽博戀愛(ài)

GPT Store上線之后，各種鋪天蓋地的定制AI女友幾乎將其淹沒(méi)。

網(wǎng)友已經(jīng)開始整活了

甚至，與AI女友相關(guān)的應(yīng)用，直接成為ChatGPT商城上線首周中，最熱門的應(yīng)用。

而現(xiàn)在，有了GPT-4o加持的ChatGPT，談一場(chǎng)賽博戀愛(ài)更是恰到好處。

這不，抖音小姐姐「午夜狂暴哈士奇狗」在GPT-4o還沒(méi)放出之前，已經(jīng)開啟了與ChatGPT談一場(chǎng)甜甜的戀愛(ài)。

下面視頻中，他們準(zhǔn)備要去海邊約會(huì)去看落日，視頻中小姐姐還專門化了美美的妝。

而ChatGPT談情說(shuō)愛(ài)的本領(lǐng)，讓人聽了瞬間肉麻。

視頻傳送門：https://v.douyin.com/i2QRdYET/

之前版本的ChatGPT還不能看到小姐姐美美的妝容、海邊的景色....

而現(xiàn)在GPT-4o升級(jí)后的版本，能夠識(shí)別表情和情緒，都不敢想象究竟有多強(qiáng)。

復(fù)刻「精靈寶可夢(mèng)」

GPT-4o還可以完美地復(fù)刻了任天堂的游戲——寶可夢(mèng)紅（Pokémon Red）。

未來(lái)的游戲設(shè)計(jì)，就交由AI來(lái)做。

制作演示的網(wǎng)友表示，過(guò)去他曾用Claude Opus耗費(fèi)大把時(shí)間，才做出一個(gè)勉強(qiáng)可以運(yùn)行的同款游戲。

而其他的模型，就更菜了，幾乎無(wú)法畫出一個(gè)畫面。

如下演示中，GPT-4o就...直接玩起了這個(gè)游戲。

它在終端的設(shè)計(jì)，細(xì)節(jié)非常準(zhǔn)確，可以精準(zhǔn)繪制地圖，并模擬戰(zhàn)斗。

Jim Fan預(yù)測(cè)全押中了

雖然OpenAI的這波更新在我們看來(lái)非常炸裂，但其實(shí)英雄所見略同，Jim Fan大佬表示「我早就說(shuō)過(guò)應(yīng)該這么干」。

在昨天發(fā)布會(huì)召開之前，他就發(fā)布了一篇推文，深入淺出地講解了實(shí)時(shí)語(yǔ)音助手的技術(shù)路徑，基本可以當(dāng)作OpenAI技術(shù)報(bào)告的大綱了。

推文中首先表示，幾乎所有的語(yǔ)音AI都需要經(jīng)過(guò)3個(gè)階段的推理——語(yǔ)音識(shí)別、LLM和語(yǔ)音合成。

然而，如果只是非常簡(jiǎn)單地把三種模型集成在一起，每次回答問(wèn)題就會(huì)有接近5秒的延遲時(shí)間，這會(huì)造成用戶體驗(yàn)斷崖級(jí)的下降，無(wú)法打造「沉浸式對(duì)話」。

要想解決延遲問(wèn)題、打造實(shí)時(shí)語(yǔ)音AI，就不能僅僅考慮三個(gè)子模型的加速，還需要重新考慮整個(gè)pipeline，讓各個(gè)階段盡可能重疊在一起，就像人類對(duì)話時(shí)都是一邊聽一邊構(gòu)思怎么說(shuō)。

用一句話總結(jié)就是，「端到端模型總能勝出。」

不僅如此，發(fā)布會(huì)上展示的ChatGPT新特性，也都被Jim Fan一一點(diǎn)到，比如適時(shí)插入語(yǔ)氣詞、處理對(duì)話中的「打斷」等等，簡(jiǎn)直是一波「神預(yù)言」。

OpenAI究竟強(qiáng)在哪里？

有意思的是，GPT-4o放出后，坊間也同時(shí)出現(xiàn)了一些唱衰OpenAI的聲音。

有人說(shuō)，這次放出的不是GPT-5，也不是搜索，其實(shí)就代表著OpenAI的倒退。

馬斯克則嘲諷道，這些AI聊天的速度也太慢了吧。

此外，Andrej Karpathy大佬也用十分平靜的語(yǔ)氣給出技術(shù)總結(jié)，得到了馬斯克的附議：

「他們發(fā)布的是一個(gè)在同一神經(jīng)網(wǎng)絡(luò)中結(jié)合文本-音頻-視頻三種模態(tài)并同時(shí)處理的模型，僅此而已?！?/span>

這就引起了網(wǎng)友們的討論：究竟是誰(shuí)，在這里淡化OpenAI做的事？

不可否認(rèn)的是，OpenAI讓《Her》中的Samantha成真了，這絕對(duì)是一件意義重大的事。

這位網(wǎng)友表示，「這是我見過(guò)的最令人驚奇的技術(shù)，那些失望的人大概本來(lái)是盼著ASI的吧。」

AI開發(fā)者Benjamin De Kraker表示，這種能聽說(shuō)能看還能推理的「虛擬人」，跟人都沒(méi)區(qū)別，這不就是AGI嗎？

對(duì)OpenAI感到不服的人，還有其他一些業(yè)內(nèi)人士，比如沃頓商學(xué)院AI方向的教授Ethan Mollick，他表示：「GPT-4o并不是巨大的飛躍」。

還有一位Meta的研究科學(xué)家表示，OpenAI的GPT-4o技術(shù)沒(méi)什么大不了的，在2個(gè)月內(nèi)，開源領(lǐng)域就會(huì)有人開始預(yù)訓(xùn)練類似GPT-4o的模型了。包括他在內(nèi)的研究者，都在加班加點(diǎn)地進(jìn)行這項(xiàng)研究。

據(jù)他透露，Meta雖然暫時(shí)落后，但跟GPT-4推出時(shí)相比，他們其實(shí)離OpenAI更近了。

原因在于，他們已經(jīng)構(gòu)建了可擴(kuò)展、與多模態(tài)一致的架構(gòu)，以及關(guān)于如何訓(xùn)練這些模型的知識(shí)，而最重要的是，在這個(gè)研究領(lǐng)域，他們擁有除OpenAI以外最強(qiáng)大的團(tuán)隊(duì)。

而在過(guò)去兩年中，這位研究者所在的團(tuán)隊(duì)一直致力于為早期融合、多模態(tài)token-in-token-out方法奠定基礎(chǔ)。

在這方面，Meta也是發(fā)表了多篇論文。包括最初的CM3論文，到MM-scaling law，再到CM3Leon，除了已發(fā)表的六篇論文，還有幾篇即將出版。

其實(shí)，這位老哥之所以著急澄清，也是因?yàn)楸贿@位Teortaxes大V的言論逼急了。

在Teortaxes看來(lái)，Meta和OpenAI之間的差距是越來(lái)越大了。

雖然Armen在前幾天就放消息說(shuō)，Meta預(yù)訓(xùn)練的早期融合多模態(tài)模型已經(jīng)獲得了成功（甚至核心突破在2023年12月就已經(jīng)實(shí)現(xiàn)了），可OpenAI的GPT-4o，都已經(jīng)作為產(chǎn)品落地了啊，更何況還是給每個(gè)人免費(fèi)可用。

看衰老一輩科技巨頭的絕不止Teortaxes一個(gè)人，知名咨詢公司Gartner副總裁 Chirag Dekate在接受Ventur Beat采訪時(shí)表示，他認(rèn)為Meta、谷歌等公司和OpenAI之間的「能力差距」越來(lái)越大了。

博主「i陸三金」總結(jié)道，其實(shí)OpenAI最被低估的，就是產(chǎn)品能力。

前有Sora，今有GPT-4o，能把一堆顯而易見的技術(shù)打造成一個(gè)亮眼的產(chǎn)品，業(yè)內(nèi)目前有這種實(shí)力的，OpenAI是無(wú)出其右。

看起來(lái)，這些產(chǎn)品背后的技術(shù)，如DiT、ViT、VAE或端到端的文本、視覺(jué)、音頻模型，并不罕見。但唯有OpenAI，真正做出了產(chǎn)品。