日前，從微軟亞洲研究院官網(wǎng)了解到其研究團(tuán)隊(duì)對外宣布，最新研發(fā)的機(jī)器翻譯系統(tǒng)在通用新聞報(bào)道測試集newstest2017的中-英測試集上，達(dá)到了可與人工翻譯媲美的水平。

[[222700]]

據(jù)稱，這是首個在新聞報(bào)道的翻譯質(zhì)量和準(zhǔn)確率上可以比肩人工翻譯的翻譯系統(tǒng)。

該系統(tǒng)模型包含了由微軟亞洲研究院研發(fā)的對偶學(xué)習(xí)、推敲網(wǎng)絡(luò)、聯(lián)合訓(xùn)練和一致性規(guī)范技術(shù)。機(jī)器翻譯是自然語言處理領(lǐng)域最具挑戰(zhàn)性的研究任務(wù)之一。

微軟技術(shù)院士，負(fù)責(zé)微軟語音、自然語言和機(jī)器翻譯工作的黃學(xué)東稱，“這是對自然語言處理領(lǐng)域最具挑戰(zhàn)性任務(wù)的一項(xiàng)重大突破。在機(jī)器翻譯方面達(dá)到與人類相同的水平是所有人的夢想，我們沒有想到這么快就能實(shí)現(xiàn)。”

[[222701]]

據(jù)悉，​newstest2017新聞報(bào)道測試集由產(chǎn)業(yè)界和學(xué)術(shù)界的合作伙伴共同開發(fā)，并于去年秋天在WMT17大會上發(fā)布。為了確保翻譯結(jié)果準(zhǔn)確且達(dá)到人類的翻譯水平，微軟研究團(tuán)隊(duì)邀請了雙語語言顧問將微軟的翻譯結(jié)果與兩個獨(dú)立的人工翻譯結(jié)果進(jìn)行了比較評估。

雖然此次突破意義非凡，但研究人員也提醒大家，這并不代表人類已經(jīng)完全解決了機(jī)器翻譯的問題，只能說明我們離終極目標(biāo)又更近了一步。微軟亞洲研究院副院長、自然語言計(jì)算組負(fù)責(zé)人周明表示，在WMT17測試集上的翻譯結(jié)果達(dá)到人類水平很鼓舞人心，但仍有很多挑戰(zhàn)需要我們解決，比如在實(shí)時的新聞報(bào)道上測試系統(tǒng)等。

附該系統(tǒng)包含的四大技術(shù)——

對偶學(xué)習(xí)(Dual Learning)：

對偶學(xué)習(xí)的發(fā)現(xiàn)是由于現(xiàn)實(shí)中有意義、有實(shí)用價值的人工智能任務(wù)往往會成對出現(xiàn)，兩個任務(wù)可以互相反饋，從而訓(xùn)練出更好的深度學(xué)習(xí)模型。例如，在翻譯領(lǐng)域，我們關(guān)心從英文翻譯到中文，也同樣關(guān)心從中文翻譯回英文;在語音領(lǐng)域，我們既關(guān)心語音識別的問題，也關(guān)心語音合成的問題;在圖像領(lǐng)域，圖像識別與圖像生成也是成對出現(xiàn)。此外，在對話引擎、搜索引擎等場景中都有對偶任務(wù)。

一方面，由于存在特殊的對偶結(jié)構(gòu)，兩個任務(wù)可以互相提供反饋信息，而這些反饋信息可以用來訓(xùn)練深度學(xué)習(xí)模型。也就是說，即便沒有人為標(biāo)注的數(shù)據(jù)，有了對偶結(jié)構(gòu)也可以做深度學(xué)習(xí)。另一方面，兩個對偶任務(wù)可以互相充當(dāng)對方的環(huán)境，這樣就不必與真實(shí)的環(huán)境做交互，兩個對偶任務(wù)之間的交互就可以產(chǎn)生有效的反饋信號。因此，充分地利用對偶結(jié)構(gòu)，就有望解決深度學(xué)習(xí)和增強(qiáng)學(xué)習(xí)的瓶頸，如“訓(xùn)練數(shù)據(jù)從哪里來、與環(huán)境的交互怎么持續(xù)進(jìn)行”等問題。

圖：對偶無監(jiān)督學(xué)習(xí)框架

推敲網(wǎng)絡(luò)(Deliberation Networks)：

“推敲”二字可以認(rèn)為是來源于人類閱讀、寫文章以及做其他任務(wù)時候的一種行為方式，即任務(wù)完成之后，并不當(dāng)即終止，而是會反復(fù)推敲。微軟亞洲研究院機(jī)器學(xué)習(xí)組將這個過程沿用到了機(jī)器學(xué)習(xí)中。推敲網(wǎng)絡(luò)具有兩段解碼器，其中第一階段解碼器用于解碼生成原始序列，第二階段解碼器通過推敲的過程打磨和潤色原始語句。后者了解全局信息，在機(jī)器翻譯中看，它可以基于第一階段生成的語句，產(chǎn)生更好的翻譯結(jié)果。

圖：推敲網(wǎng)絡(luò)的解碼過程

聯(lián)合訓(xùn)練(Joint Training)：

這個方法可以認(rèn)為是從源語言到目標(biāo)語言翻譯(Source to Target)的學(xué)習(xí)與從目標(biāo)語言到源語言翻譯(Target to Source)的學(xué)習(xí)的結(jié)合。中英翻譯和英中翻譯都使用初始并行數(shù)據(jù)來訓(xùn)練，在每次訓(xùn)練的迭代過程中，中英翻譯系統(tǒng)將中文句子翻譯成英文句子，從而獲得新的句對，而該句對又可以反過來補(bǔ)充到英中翻譯系統(tǒng)的數(shù)據(jù)集中。同理，這個過程也可以反向進(jìn)行。這樣雙向融合不僅使得兩個系統(tǒng)的訓(xùn)練數(shù)據(jù)集大大增加，而且準(zhǔn)確率也大幅提高。

圖：從源語言到目標(biāo)語言翻譯(Source to Target)P(y|x) 與從目標(biāo)語言到源語言翻譯(Target to Source)P(x|y)

一致性規(guī)范(Agreement Regularization)：

翻譯結(jié)果可以從左到右按順序產(chǎn)生，也可以從右到左進(jìn)行生成。該規(guī)范對從左到右和從右到左的翻譯結(jié)果進(jìn)行約束。如果這兩個過程生成的翻譯結(jié)果一樣，一般而言比結(jié)果不一樣的翻譯更加可信。這個約束，應(yīng)用于神經(jīng)機(jī)器翻譯訓(xùn)練過程中，以鼓勵系統(tǒng)基于這兩個相反的過程生成一致的翻譯結(jié)果。