微軟發(fā)布 AI 聲音生成工具 VALL-E,只需 3 秒音頻即可模仿人說話
1 月 10 日消息,微軟最近發(fā)布了一款名為 VALL-E 的人工智能工具,只需 3 秒音頻即可模仿人說話。
該工具經(jīng)過 60000 小時英語語音數(shù)據(jù)的訓(xùn)練,并使用特定語音的 3 秒剪輯來生成內(nèi)容。與目前的許多人工智能工具不同,VALL-E 可以復(fù)制說話者的情緒和語氣,即使說話者本人從未說過的單詞也可以模仿。
IT之家了解到,康奈爾大學(xué)的一篇論文使用 VALL-E 合成了幾種聲音,大家可以在 ??GitHub 上聆聽這些 AI 合成的音頻??。
研究人員指出,在許多情況下,Vall-E 的性能優(yōu)于當(dāng)前的文本到語音轉(zhuǎn)換模型。然而,該研究還寫道,人工智能模型目前存在幾個問題。例如,文本提示中的某些單詞可能會發(fā)音不清晰、完全遺漏或在輸出中出現(xiàn)兩次。此外,該模型目前難以模仿某些聲音,尤其是帶有口音的聲音。
像其他 AI 新技術(shù)一樣,VALL-E 在安全、倫理等方面也引發(fā)了擔(dān)憂。微軟發(fā)布了關(guān)于使用 VALL-E 的道德聲明,但未來的使用用途方面沒有明確說明。
目前,微軟 Vall-E 尚未開源。微軟已經(jīng)在 GitHub 上創(chuàng)建了一個 ??Vall-E 存儲庫??,但目前只包含一個描述文件。