自從ChatGPT火爆以來，各種通用的大型模型層出不窮，GPT4、SAM等等，本周一Meta 又開源了新的語音模型MMS，這個模型號稱支持4000多種語言，并且發(fā)布了支持1100種語言的預訓練模型權(quán)重，最主要的是這個模型不僅支持ASR，還支持TTS，也就是說不僅可以語音轉(zhuǎn)文字，還可以文字轉(zhuǎn)語音。

因為以前對語音方面沒有研究，所以我就查閱了一下資料，世界上一共有 7,000 多種語言（我一直以為只有幾百），目前的語音識別技術(shù)目前僅能覆蓋100多種，其實我覺得100多種已經(jīng)夠用了，當然如果有特殊的研究需要那要另說。

Facebook （Meta） AI 的最新大型多語言語音 (MMS) 項目可以為 1,100 多種語言提供語音轉(zhuǎn)文本、文本轉(zhuǎn)語音等功能。這是現(xiàn)有模型的 10 倍！它的官網(wǎng)blog上特別提到了Tatuyo 語，只有幾百人在使用。這其實對于日常來說沒什么用，但是對于研究來說這是一個很好的例子，因為只有幾百人如何找到并有效的提煉數(shù)據(jù)集呢？

Meta 與 OpenAI 的 Whisper 做了詳細的對比，在數(shù)據(jù)上訓練的模型實現(xiàn)了一半的單詞錯誤率，并且訓練數(shù)據(jù)更少：

可以看到它的訓練數(shù)據(jù)只有45k 小時的標注數(shù)據(jù)，要比Whisper少10倍，而語言支持也多了10倍，這是一個大的提高。在blog中還特意提到了使用了 《圣經(jīng)》這種流傳廣泛，翻譯語種多的內(nèi)容作為數(shù)據(jù)集，我覺得這是一個很好方向。

MMS 項目還利用了 wav2vec 2.0 自監(jiān)督語音表示學習技術(shù)的優(yōu)勢。在 1,400 種語言的大約 500,000 小時的語音數(shù)據(jù)上進行自監(jiān)督的訓練，明顯減少了對標記數(shù)據(jù)的依賴。然后針對特定的語音任務對生成的模型進行微調(diào)，例如多語言語音識別和語言識別。

Whisper 的效果對于我來說就已經(jīng)非常好了，我也一直在使用他做為語言轉(zhuǎn)文字的工具，如果MMS的效果更好，那對于我們來說簡直太棒了，并且MMS還支持 language identification (LID) 也就說可以自動識別所說的語言，但是經(jīng)過我的測試，這個對于支持這么多種語言的模型來說有一個致命的錯誤，就是轉(zhuǎn)錄或錯誤解釋可能會導致冒犯性或不準確的語言。

還記得大張偉嗎,越是準確的模型越會出問題：

這種多語言語音模型的出現(xiàn)使得語言障礙將被打破，來自全球每個角落人們都可以通過聲音正常的交流。還記得META爛尾的VR和AR應用嗎，我覺得MMS應該是它們VR的一個子項目，VR爛尾很正常，但是這個MMS會為我們帶來更多的進步。

最后地址,里面有預訓練模型下載和安裝方法：

https://github.com/facebookresearch/fairseq/tree/main/examples/mms