OpenAI首次展示音頻模型Voice Engine，生成的聲音太逼真了！
3月30日凌晨，OpenAI在官網(wǎng)首次展示了全新自定義音頻模型“Voice Engine”。
用戶只需要提供15秒左右的參考聲音，通過(guò)Voice Engine就能生成幾乎和原音一模一樣的全新音頻，在清晰度、語(yǔ)音連貫、音色、自然度等方面比市面上多數(shù)產(chǎn)品都強(qiáng)很多。
除了能合成音頻之外，OpenAI還展示了Voice Engine很多其他際商業(yè)用途，例如，一位失去聲音表達(dá)能力的女孩，在Voice Engine幫助下能像以前一樣正常發(fā)音說(shuō)話。
Voice Engine功能展示
OpenAI并非展示了一些簡(jiǎn)單的demo，而是一些實(shí)際場(chǎng)景化用例，這也就是說(shuō)Voice Engine的技術(shù)已經(jīng)非常成熟。
Age of Learning 是一家兒童教育公司，他們一直在使用Voice Engine生成各種有聲讀物。同時(shí)還通過(guò)與GPT-4的相結(jié)合使用，創(chuàng)建實(shí)時(shí)、個(gè)性化的回答與學(xué)生互動(dòng)。
例如，使用一段15秒的參考音頻。就可以生成幾乎一模一樣的語(yǔ)音。
?
除了語(yǔ)音合成之外，Voice Engine還能提供視頻翻譯功能，可以將一種視頻語(yǔ)音無(wú)差別的翻譯成多國(guó)語(yǔ)言。
HeyGen是一家AI視頻合成平臺(tái)，主要幫助企業(yè)開(kāi)發(fā)商品展示的“數(shù)字人”。他們通過(guò)使用Voice Engine進(jìn)行視頻翻譯，擴(kuò)展至多國(guó)語(yǔ)言來(lái)擴(kuò)大全球覆蓋受眾。
輸入一段原參考語(yǔ)音，就能將其轉(zhuǎn)化成中文語(yǔ)音
幫助聲音受損的人恢復(fù)聲音：諾曼-普林斯生命科學(xué)研究所正在測(cè)試一項(xiàng)實(shí)驗(yàn)，正通過(guò)Voice Engine幫助那些因腫瘤或神經(jīng)系統(tǒng)病因，導(dǎo)致語(yǔ)言障礙的患者恢復(fù)聲音。
目前，他們已經(jīng)幫助一位因血管性腦腫瘤，而失去流利語(yǔ)言表達(dá)能力的年輕女患者恢復(fù)了聲音。
現(xiàn)在這位女患者可以正常與其他人交流了。
?
OpenAI表示，其實(shí)他們?cè)?022年底便開(kāi)發(fā)了Voice Engine，并將其用于支持文本到語(yǔ)音 API 中的預(yù)設(shè)語(yǔ)音以及 ChatGPT 的語(yǔ)音和朗讀功能。
但出于安全考慮一直沒(méi)有全面公測(cè)，目前也只是小范圍測(cè)試。因?yàn)橄啾任谋?、視頻，音頻的造假能力太強(qiáng)了幾乎無(wú)法分辨出來(lái)。
此外，OpenAI首席技術(shù)官M(fèi)ira Murati在前不久接受的采訪時(shí)表示，未來(lái)Sora生成的視頻會(huì)帶聲音的，很可能為其提供聲音的就是Voice Engine。
本文轉(zhuǎn)自AIGC開(kāi)放社區(qū) 作者：AIGC開(kāi)放社區(qū)
