今天凌晨，OpenAI 突然開啟了新產(chǎn)品發(fā)布直播，這次新發(fā)布的內(nèi)容全是音頻模型。

據(jù)介紹，它們實現(xiàn)了新的 SOTA 水平，在準確性和可靠性方面優(yōu)于現(xiàn)有解決方案——尤其是在涉及口音、嘈雜環(huán)境和不同語速的復(fù)雜場景中。這些改進提高了語音 / 文本轉(zhuǎn)錄應(yīng)用的可靠性，新模型特別適合客戶呼叫中心、會議記錄轉(zhuǎn)錄等用例。

基于新的 API，開發(fā)人員第一次可以指示文本轉(zhuǎn)語音模型以特定方式說話，例如讓 AI「像富有同情心的客戶服務(wù)人員一樣說話」，從而為語音智能體開啟新的定制化維度，可以實現(xiàn)各種定制應(yīng)用程序。

OpenAI 還開放了一個網(wǎng)站，讓你可以直接測試音頻大模型的能力：https://www.openai.fm/

OpenAI 于 2022 年推出了第一個音頻模型，并一直致力于提高這些模型的智能性、準確性和可靠性。借助新的音頻模型及 API，開發(fā)人員可以構(gòu)建更準確、更強大的語音轉(zhuǎn)文本系統(tǒng)以及富有表現(xiàn)力、個性十足的文本轉(zhuǎn)語音聲音。

具體來說，新的 gpt-4o-transcribe 和 gpt-4o-mini-transcribe 模型與原始 Whisper 模型相比改進了單詞錯誤率，提高了語言識別和準確性。

gpt-4o-transcribe 在多個既定基準中展示了比現(xiàn)有 Whisper 模型更好的單詞錯誤率 (WER) 性能，實現(xiàn)了語音轉(zhuǎn)文本技術(shù)的重大進步。這些進步源于強化學(xué)習(xí)創(chuàng)新以及使用多樣化、高質(zhì)量音頻數(shù)據(jù)集進行的大量中期訓(xùn)練。

這些新的語音-文本模型可以更好地捕捉語音的細微差別，減少誤認，并提高轉(zhuǎn)錄可靠性，尤其是在涉及口音、嘈雜環(huán)境和不同語速的具有挑戰(zhàn)性的場景中。

幾種模型的單詞錯誤率（越低越好）。

在 FLEURS 上，OpenAI 的模型實現(xiàn)了更低的 WER 和強大的多語言性能。WER 越低越好，錯誤越少。

OpenAI 還推出了一個可操縱性更好的新 gpt-4o-mini-tts 模型。在其之上，開發(fā)人員第一次可以「指導(dǎo)」模型，不僅可以指導(dǎo)模型說什么，還可以指導(dǎo)模型如何說，從而為大量用例提供更加定制化的體驗。該模型可在 text-to-speech API 中使用。不過目前，這些文本轉(zhuǎn)語音模型僅限于人工預(yù)設(shè)的聲音，且受到 OpenAI 的監(jiān)控。

就在昨天，OpenAI 推出的「最貴大模型 API」o1-pro API 還因為每百萬 token 收費 600 美元而遭到了 AI 社區(qū)的廣泛吐槽。今天 OpenAI 推出的三款語音 API 價格倒是保持了業(yè)界平均水準：gpt-4o-mini-tts 的百萬 token 文本輸入價格是 $0.60，音頻輸出價格為 $12.00；gpt-4o-transcrib 文本輸入價格是 $2.50，音頻輸入價格 $10.00，音頻輸出價格 $6.00；gpt-4o-mini-transcribe 的文本輸入價格是 $1.25，音頻輸入價格 $5.00，音頻輸出價格 $3.00。

因此今天的發(fā)布也受到了人們的歡迎。

OpenAI 的新音頻模型基于 GPT?4o 和 GPT?4o-mini 架構(gòu)，并在專門的以音頻為中心的數(shù)據(jù)集上進行了廣泛的預(yù)訓(xùn)練，這對于優(yōu)化模型性能至關(guān)重要。這種有針對性的方法可以更深入地了解語音細微差別，并在與音頻相關(guān)的任務(wù)中實現(xiàn)出色的性能。

在模型訓(xùn)練中，OpenAI 增強了提煉技術(shù)，使知識從最大的音頻模型轉(zhuǎn)移到了更小、更高效的模型上。利用先進的自我博弈方法，OpenAI 的提煉數(shù)據(jù)集有效地捕捉了真實的對話動態(tài)，復(fù)制了真正的用戶助手交互，這有助于小型模型提供出色的對話質(zhì)量和響應(yīng)能力。

OpenAI 的語音轉(zhuǎn)文本模型集成了大量強化學(xué)習(xí)，將轉(zhuǎn)錄準確性推向了最先進的水平。據(jù)稱，這種方法大大提高了精度并減少了幻覺，使語音轉(zhuǎn)文本解決方案在復(fù)雜的語音識別場景中具有極強的競爭力

這些發(fā)展代表了音頻建模領(lǐng)域的進步，將創(chuàng)新方法與實用增強功能相結(jié)合，以增強語音應(yīng)用程序的性能。

這些新的音頻模型現(xiàn)在可供所有開發(fā)人員使用：https://platform.openai.com/docs/guides/audio

對于已經(jīng)使用基于文本的模型構(gòu)建對話體驗的開發(fā)人員，添加 OpenAI 語音轉(zhuǎn)文本和文本轉(zhuǎn)語音模型是構(gòu)建語音智能體的最簡單方法。OpenAI 發(fā)布了與 Agents SDK 的集成以簡化此開發(fā)過程。對于希望構(gòu)建低延遲語音轉(zhuǎn)語音體驗的開發(fā)人員，OpenAI 建議使用 Realtime API 中的語音轉(zhuǎn)語音模型進行構(gòu)建。

在未來，OpenAI 計劃繼續(xù)提升音頻模型的智能性和準確性，并探索允許開發(fā)人員使用自定義聲音構(gòu)建更加個性化體驗的方法。包括視頻等更多模態(tài)的能力也在研發(fā)過程當(dāng)中。