奧特曼的承諾，終于兌現(xiàn)了。

趕在7月結(jié)束前，GPT-4o語(yǔ)音模式終于開(kāi)啟了灰度測(cè)試，一小部分ChatGPT Plus用戶已經(jīng)拿到了嘗鮮入場(chǎng)券。

圖片

如果打開(kāi)ChatGPT App之后看到了下面這個(gè)界面，恭喜你成為了首批幸運(yùn)兒。

圖片

OpenAI稱，高級(jí)語(yǔ)音模式提供了更加自然、實(shí)時(shí)對(duì)話，可以隨意打斷，甚至它還可以感知、回應(yīng)你的情緒。

預(yù)計(jì)在今年秋季，所有ChatGPT Plus用戶，都能用上這個(gè)功能。

圖片

另外，視頻和屏幕共享更強(qiáng)大的也在稍后推出。也就是，開(kāi)啟攝像頭，就能和ChatGPT「面對(duì)面」聊天了。

圖片

一些被灰度到的網(wǎng)友們紛紛開(kāi)啟測(cè)試，發(fā)現(xiàn)了GPT-4o語(yǔ)音模式的諸多用例。

圖片

這不，有人就讓它充當(dāng)「二外教練」，教自己練習(xí)口語(yǔ)。

圖片

ChatGPT在下面的教學(xué)中，幫助網(wǎng)友糾正了Croissant（羊角面包）、Baguette（法式長(zhǎng)棍）的發(fā)音。

與此同時(shí)，GPT-4o的輸出token暴漲了16倍，從最初4000個(gè)token增加到64000個(gè)token。

這是OpenAI最近在官方網(wǎng)頁(yè)中，悄然推出的測(cè)試版新模型gpt-4o-64k-output-alpha。

圖片

更長(zhǎng)的輸出token，就意味著，一次性可以得到大約4個(gè)完整的長(zhǎng)篇電影劇本。

圖片

Her已來(lái)

之所以現(xiàn)在才放出GPT-4o語(yǔ)音功能，是因?yàn)檫^(guò)去幾個(gè)月里，OpenAI一直對(duì)其進(jìn)行安全性、質(zhì)量測(cè)試。

他們與100+紅隊(duì)人員，就45種語(yǔ)言對(duì)GPT-4o語(yǔ)音能力進(jìn)行了測(cè)試。

圖片

為保護(hù)人們的隱私，團(tuán)隊(duì)訓(xùn)練模型只使用4種「預(yù)設(shè)聲音」說(shuō)話。

他們還創(chuàng)建了一個(gè)系統(tǒng)，去阻止在這4種聲音之外，其他聲音的輸出。

此外，內(nèi)容過(guò)濾也是必不可少，團(tuán)隊(duì)還采取措施阻止暴力、有關(guān)版權(quán)內(nèi)容的生成。

OpenAI預(yù)告，計(jì)劃在8月初，會(huì)發(fā)布一份關(guān)于GPT-4o能力、局限性、安全評(píng)估的詳細(xì)報(bào)告。

圖片

全網(wǎng)實(shí)測(cè)

下面是網(wǎng)友分享的GPT-4o語(yǔ)音模式的一些案例。

ChatGPT可以表演節(jié)奏口技。

圖片

ChatGPT還可以以害羞、生氣、更憤怒的語(yǔ)氣講出了關(guān)于啤酒的笑話。

還有網(wǎng)友專為ChatGPT講了一個(gè)笑話「為什么科學(xué)家不相信Adam-Atom，因?yàn)樗鼈儤?gòu)成了一切」。

ChatGPT不失尷尬地笑了起來(lái)。

更搞笑的是，ChatGPT學(xué)起貓叫還是有一套的。

有人經(jīng)過(guò)一番測(cè)試下來(lái)，發(fā)現(xiàn)ChatGPT高級(jí)語(yǔ)音模式非?？?，回答幾乎沒(méi)有延遲。

當(dāng)被要求模仿一些聲音時(shí)，它總是可以真實(shí)復(fù)刻出聲音。而且不同口音，也可以模仿出來(lái)。

圖片

下面這個(gè)視頻中，展示了AI充當(dāng)足球比賽解說(shuō)員的場(chǎng)景。

ChatGPT用中文講故事，也很生動(dòng)。

OpenAI雖然聲稱，視頻和屏幕共享功能稍后推出，不過(guò)已經(jīng)有網(wǎng)友先用上了。

圖片

網(wǎng)友有一只貓咪新寵，為它搭建了小窩，準(zhǔn)備了吃食，但不知道怎么樣，于是就問(wèn)問(wèn)ChatGPT。

在視頻的對(duì)話中，網(wǎng)友向它展示了貓咪的屋子，ChatGPT看過(guò)后評(píng)價(jià)道，「一定非常舒適」，并關(guān)心貓咪如何。

網(wǎng)友表示，它目前為止還沒(méi)有吃東西，看起來(lái)有點(diǎn)擔(dān)心。ChatGPT安慰道，「這很正常，對(duì)于貓咪來(lái)說(shuō)需要適應(yīng)的時(shí)間」。

可以看出，整個(gè)問(wèn)答過(guò)程非常流暢，給人一種與真人交流的感受。

網(wǎng)友還翻出了日語(yǔ)版界面游戲機(jī)，但是自己又不會(huì)日語(yǔ)。

這時(shí)，他一邊向ChatGPT展示游戲界面，一邊讓其幫自己做翻譯，最后胡一起通關(guān)游戲。

不得不說(shuō)，有了視覺(jué)+語(yǔ)音模式的加持，ChatGPT強(qiáng)了很多。

GPT-4o Long Output悄悄上線，輸出高達(dá)64K

另外，支持更大token輸出的GPT-4o隨之而來(lái)。

就在昨天，OpenAI正式宣布向提供測(cè)試者GPT-4o Alpha版本，每次請(qǐng)求支持最多輸出64K token，相當(dāng)于200頁(yè)小說(shuō)。

測(cè)試者可以從「gpt-4o-64k-output-alpha」，訪問(wèn)GPT-4o的長(zhǎng)輸出功能。

不過(guò)，新模型的價(jià)格再次刷新天花板。每百萬(wàn)輸入token 6美元，每百萬(wàn)輸出token 18美元。

雖說(shuō)輸出token是GPT-4o的16倍，但價(jià)格也漲了3美元。

圖片

這么一比，果然還是gpt-4o-mini價(jià)格香！

圖片

研究員Simon Willison表示，長(zhǎng)輸出主要用于數(shù)據(jù)轉(zhuǎn)換用例。

比如，將文檔從一種語(yǔ)言翻譯成另一種語(yǔ)言，或從文檔中提取結(jié)構(gòu)化數(shù)據(jù)，幾乎每個(gè)輸入token都需要在輸出的JSON中使用。

在此之前，他所知道的最長(zhǎng)輸出模型是GPT-4o mini，為16K token。

圖片

為什么推出更長(zhǎng)輸出的模型？

顯然，更長(zhǎng)的輸出，可以讓GPT-4o提供更全面、細(xì)致的響應(yīng)，對(duì)于一些場(chǎng)景非常有幫助。

比如，編寫(xiě)代碼、以及對(duì)寫(xiě)作的改進(jìn)。

這也是基于用戶的反饋——需要更長(zhǎng)輸出內(nèi)容才能滿足用例，OpenAI才做出的調(diào)整。

上下文和輸出之間的區(qū)別

GPT-4o自推出以來(lái)，便提供了最大128K的上下文窗口。而對(duì)于GPT-4o Long Output，最大上下文窗口仍然是128K。

那么，OpenAI如何在保持整體上下文窗口為128K的情況下，將輸出token數(shù)量從4,000增加到64,000呢？

這是因?yàn)?，OpenAI在最初就限制了輸出token數(shù)量，最大為4000個(gè)token。

這意味著，用戶可以在一次交互中最多以124,000個(gè)token作為輸入，也最多只能得到4000個(gè)輸出token。

當(dāng)然，你也可以輸入更多token，那就意味著輸出token更少了。

畢竟長(zhǎng)下文長(zhǎng)度（128K）就固定在那里，不管輸入怎么變，輸出token也不會(huì)過(guò)4000。

而現(xiàn)在，OpenAI將輸出token長(zhǎng)度限制在64,000 token，也就是說(shuō)，你可以比以往多輸出16倍的token。

畢竟，輸出計(jì)算量更大，價(jià)格漲幅也更大。

同樣，對(duì)于最新的GPT-4o mini，上下文也是128K，但最大輸出已提升至16,000個(gè)token。

那么，用戶可以提供最多112,000個(gè)token作為輸入，最終得到最多16,000個(gè)token的輸出。

總的來(lái)說(shuō)，OpenAI在這里提供了一個(gè)方案，限制輸入token，以獲取LLM更長(zhǎng)的響應(yīng)，而不是直接擴(kuò)大上下文長(zhǎng)度。

而市面上其他模型，長(zhǎng)的都已經(jīng)超過(guò)百萬(wàn)了（Gemini），稍微短一些的也有200K（Claude）；甚至有的模型輸出都已經(jīng)達(dá)到了200K，而OpenAI還在這兒摳摳搜搜。

這也就把難題扔給了開(kāi)發(fā)者：想要輸入多，那就得接受輸出少；想要輸出多，那就得輸入少一些。

具體怎么衡量，看你們自己愿意犧牲哪一個(gè)了......

參考資料：

https://x.com/OpenAI/status/1818353580279316863

https://x.com/tsarnick/status/1818402307115241608

https://x.com/kimmonismus/status/1818409637030293641

https://www.reddit.com/r/singularity/comments/1eg51gz/chatgpt_advanced_audio_helping_me_pronouce/

https://venturebeat.com/ai/openai-launches-experimental-gpt-4o-long-output-model-with-16x-token-capacity/