機(jī)器翻譯是現(xiàn)今人類消除語(yǔ)言障礙、重建巴別塔的新工具。然而，在世界現(xiàn)存的 7000 多種已知語(yǔ)言中，許多低資源語(yǔ)言還未得到足夠的關(guān)注，尤其是有近一半的語(yǔ)言沒(méi)有標(biāo)準(zhǔn)的書(shū)面系統(tǒng)，這是構(gòu)建機(jī)器翻譯工具的一大障礙，所以目前 AI 翻譯主要集中在書(shū)面語(yǔ)言上。

在利用 AI 推動(dòng)自然語(yǔ)言翻譯這件事上，Meta 一直致力于“No Language Left Behind”（沒(méi)有一種語(yǔ)言被落下）的目標(biāo)。

比如漢語(yǔ)方言之一閩南話，現(xiàn)在也有了專屬的機(jī)器翻譯系統(tǒng)，講閩南話的人可以與講英語(yǔ)的人進(jìn)行無(wú)障礙對(duì)話了。

這是由 Meta 開(kāi)源的第一個(gè)由 AI 驅(qū)動(dòng)的非書(shū)面的、語(yǔ)音到語(yǔ)音的翻譯系統(tǒng)。來(lái)聽(tīng)聽(tīng)這項(xiàng)工作的負(fù)責(zé)人、Meta AI 研究員 Peng-Jen Chen 與小扎的對(duì)話，Chen 出生于中國(guó)臺(tái)灣。

該系統(tǒng)可以將閩南話的語(yǔ)音翻譯成英語(yǔ)語(yǔ)音，反之亦可。會(huì)講閩南話的讀者可以來(lái)檢驗(yàn)一下，是不是翻譯效果還挺不錯(cuò)？

據(jù)了解，這個(gè)開(kāi)源翻譯系統(tǒng)是 Meta 的通用語(yǔ)音翻譯(UST) 項(xiàng)目的一部分，該項(xiàng)目致力于開(kāi)發(fā)新的人工智能方法，幫助實(shí)現(xiàn)所有現(xiàn)存語(yǔ)言的實(shí)時(shí)語(yǔ)音到語(yǔ)音的翻譯。目前，Meta 已經(jīng)開(kāi)源了該翻譯模型和評(píng)估數(shù)據(jù)集，研究論文如下：

論文地址：https://research.facebook.com/file/799432337944526/Speech-to-speech-translation-for-a-real-world-unwritten-language.pdf

1 克服訓(xùn)練數(shù)據(jù)的挑戰(zhàn)

閩南話是漢語(yǔ)方言之一，是一種低資源語(yǔ)言，沒(méi)有標(biāo)準(zhǔn)的書(shū)寫(xiě)系統(tǒng)，人工的英語(yǔ)到閩南話翻譯人員也相對(duì)很少，所以為模型收集和標(biāo)注訓(xùn)練數(shù)據(jù)就變得更加困難。

圖注：講閩南話（Hokkien）的人的數(shù)量

為此，來(lái)自 Meta AI 的研究團(tuán)隊(duì)采用了一種特殊放方案，利用漢語(yǔ)普通話（屬于高資源語(yǔ)言）作為中間語(yǔ)言來(lái)構(gòu)建偽標(biāo)簽和人工翻譯。他們首先將英語(yǔ)（或閩南話）語(yǔ)音翻譯成普通話文本，然后再翻譯成閩南話（或英語(yǔ)）并將其添加到訓(xùn)練數(shù)據(jù)中。這種方法通過(guò)利用來(lái)自類似高資源語(yǔ)言的數(shù)據(jù)，極大地提高了模型性能。

語(yǔ)音挖掘是訓(xùn)練數(shù)據(jù)生成的另一種方法。使用預(yù)訓(xùn)練的語(yǔ)音編碼器，能夠?qū)㈤}南話語(yǔ)音嵌入編碼到與其他語(yǔ)言相同的語(yǔ)義空間中，所以閩南話沒(méi)有書(shū)面形式也不造成問(wèn)題。閩南話語(yǔ)音可以與語(yǔ)義嵌入相似的英語(yǔ)語(yǔ)音和文本對(duì)齊，然后從文本中合成英語(yǔ)語(yǔ)音，產(chǎn)生并行的閩南話和英語(yǔ)語(yǔ)音。

圖注：無(wú)需人類標(biāo)注的語(yǔ)音翻譯模型

2 新的建模方法：語(yǔ)音到語(yǔ)音

許多語(yǔ)音翻譯系統(tǒng)都依賴轉(zhuǎn)錄或者是語(yǔ)音到文本的系統(tǒng)。但是，閩南話的形式主要是口語(yǔ)，缺乏標(biāo)準(zhǔn)的書(shū)面文字系統(tǒng)，無(wú)法轉(zhuǎn)錄成文本作。所以，Meta 所構(gòu)建的是一個(gè)語(yǔ)音到語(yǔ)音的翻譯系統(tǒng)。

研究人員使用語(yǔ)音到單元（speech-to-unit，S2UT）翻譯，將輸入語(yǔ)音直接翻譯成一系列的聲學(xué)單元，這也是 Meta 先前最早開(kāi)創(chuàng)的一種路徑。然后，從這些聲學(xué)單元中生成波形。此外，研究人員還采用了 UnitY 作為雙通道解碼機(jī)制，第一通道解碼器生成相關(guān)語(yǔ)言（即漢語(yǔ)普通話）的文本，第二通道解碼器創(chuàng)建單元。

圖注：UnitY 模型架構(gòu)

3 新的準(zhǔn)確性評(píng)估系統(tǒng)

語(yǔ)音翻譯系統(tǒng)的評(píng)估工具通常是 ASR-BLEU 指標(biāo)，該指標(biāo)首先使用自動(dòng)語(yǔ)音識(shí)別 (ASR) 將翻譯后的語(yǔ)音轉(zhuǎn)錄為文本，然后將轉(zhuǎn)錄文本與人工翻譯的文本進(jìn)行比較，計(jì)算 BLEU 分?jǐn)?shù)。

但要評(píng)估閩南話的語(yǔ)音翻譯系統(tǒng)，難處還是在于它沒(méi)有標(biāo)準(zhǔn)的書(shū)面文字系統(tǒng)。所以，為了實(shí)現(xiàn)自動(dòng)評(píng)估，研究人員開(kāi)發(fā)了一個(gè)系統(tǒng)，將閩南語(yǔ)語(yǔ)音轉(zhuǎn)錄為一種稱為 Tai-l? 的標(biāo)準(zhǔn)化注音符號(hào)。這樣就能在音節(jié)的層面上計(jì)算 BLEU 分?jǐn)?shù)，從而比較不同方法的翻譯質(zhì)量。

除了開(kāi)發(fā)這種評(píng)估閩-英語(yǔ)音翻譯的方法外，研究人員還基于閩南話語(yǔ)料庫(kù) Taiwanese Across Taiwan，創(chuàng)建了第一個(gè)閩-英雙向語(yǔ)音到語(yǔ)音翻譯基準(zhǔn)數(shù)據(jù)集。該基準(zhǔn)數(shù)據(jù)集將開(kāi)源，以方便更多研究人員從事閩南話語(yǔ)音翻譯工作。

4 不止閩南話

這項(xiàng)工作所用技術(shù)可以進(jìn)一步擴(kuò)展到許多其他書(shū)面和非書(shū)面語(yǔ)言。

為此，Meta 還發(fā)布了  SpeechMatrix，它是一個(gè)大型的語(yǔ)音到語(yǔ)音翻譯語(yǔ)料庫(kù)，使用了 Meta 的創(chuàng)新數(shù)據(jù)挖掘技術(shù) LASER， 從歐洲議會(huì)錄音的真實(shí)演講中挖掘數(shù)據(jù)。該數(shù)據(jù)庫(kù)包含 136 種語(yǔ)言對(duì)的語(yǔ)音對(duì)齊，共 41.8 萬(wàn)小時(shí)的語(yǔ)音。挖掘的數(shù)據(jù)和模型都是免費(fèi)的，研究人員可以創(chuàng)建自己的語(yǔ)音到語(yǔ)音翻譯 (S2ST) 系統(tǒng)。

圖注：LASER 挖掘獲得的語(yǔ)音到語(yǔ)音成對(duì)數(shù)據(jù)

Meta 在無(wú)監(jiān)督語(yǔ)音識(shí)別 ( wav2vec-U ) 和無(wú)監(jiān)督機(jī)器翻譯( mBART )方面的研究進(jìn)展，也為口語(yǔ)翻譯工作提供了支持。比如用于預(yù)訓(xùn)練語(yǔ)音模型的無(wú)監(jiān)督域自適應(yīng)技術(shù)，提高了下游無(wú)監(jiān)督語(yǔ)音識(shí)別的性能，尤其是對(duì)于低資源語(yǔ)言，在沒(méi)有任何人工標(biāo)注的情況下，可以構(gòu)建高質(zhì)量語(yǔ)音到語(yǔ)音翻譯模型。

該模型仍在不斷推進(jìn)中，目前一次只能翻譯一個(gè)完整的句子，但這邁出了未來(lái)實(shí)現(xiàn)語(yǔ)言間同聲傳譯的一步。

據(jù) Meta AI 的研究員 Peng-Jen Chen 說(shuō)，這個(gè)閩南話翻譯系統(tǒng)其實(shí)有一部分是出于他的一個(gè)私人心愿。他在中國(guó)臺(tái)灣長(zhǎng)大，同時(shí)會(huì)講普通話，但是他的父親普通話不好，他希望他的父親能夠用閩南話與每個(gè)人都順暢地交流。這也是 AI 之于人類的意義之一。