本文經(jīng)AI新媒體量子位（公眾號(hào)ID:QbitAI）授權(quán)轉(zhuǎn)載，轉(zhuǎn)載請(qǐng)聯(lián)系出處。

現(xiàn)在，想象一個(gè)外國(guó)人面前擺了句「金石迸碎蕩塵埃，磐山紆水盡為開(kāi)」。

除了痛苦地死摳復(fù)雜單詞和長(zhǎng)難句語(yǔ)法，他還能怎么去理解這句話(huà)呢？

——想象。

想象這句詩(shī)詞中的“金石”、“塵埃”、“山水”各個(gè)詞匯的意象，再將意象匯聚成一個(gè)具體的畫(huà)面或場(chǎng)景。

[[406853]]

而這時(shí)就有研究者靈機(jī)一動(dòng)：

人類(lèi)不是能根據(jù)非母語(yǔ)文本腦補(bǔ)畫(huà)面，進(jìn)而做到更深入的理解嗎？

那機(jī)器是不是也能根據(jù)輸入文本腦補(bǔ)圖像，最終實(shí)現(xiàn)更好的翻譯呢？

于是，一個(gè)以視覺(jué)想象為引導(dǎo)的機(jī)器翻譯模型ImagiT就誕生了。

論文作者來(lái)自南洋理工大學(xué)和字節(jié)跳動(dòng)人工智能實(shí)驗(yàn)室。

缺少圖片也能利用視覺(jué)

提到“利用視覺(jué)”，我們首先會(huì)想到多模態(tài)機(jī)器翻譯。

比起純文本的機(jī)器翻譯，多模態(tài)機(jī)器翻譯能夠利用語(yǔ)音、圖像這樣的模態(tài)信息來(lái)提高翻譯質(zhì)量。

但多模態(tài)機(jī)器翻譯的質(zhì)量是和數(shù)據(jù)集的可用性直接掛鉤的。

換句話(huà)說(shuō)就是標(biāo)注圖片的數(shù)量和質(zhì)量會(huì)非常影響模型翻譯的有效性。

但偏偏人工圖片標(biāo)注的成本又不低……所以現(xiàn)階段的多模態(tài)機(jī)器翻譯大都應(yīng)用在Multi30K，一個(gè)包含了3萬(wàn)張圖片標(biāo)注的數(shù)據(jù)集上。

而新提出的ImagiT翻譯模型呢？

它在推理階段不需要標(biāo)注圖片作為輸入，而是通過(guò)想象的方式利用視覺(jué)信號(hào)，在訓(xùn)練階段將視覺(jué)語(yǔ)義蘊(yùn)含到模型內(nèi)部。

做到了在缺少圖片標(biāo)注的情況下也能利用視覺(jué)信息。

基于想象的翻譯模型到底什么樣

這是一個(gè)端到端的對(duì)抗學(xué)習(xí)架構(gòu)。

架構(gòu)左右端是我們熟悉的transformer的編碼器和解碼器，而中間則是這一框架獨(dú)特的生成想象網(wǎng)絡(luò)。

這一生成想象網(wǎng)絡(luò)主要由兩個(gè)轉(zhuǎn)化器和一個(gè)注意力層組成，具體做轉(zhuǎn)化時(shí)：

一、源文本通過(guò)F0輸入

F0包含一個(gè)全連接層和四個(gè)去卷積層。

基于GAN的思想，句子特征與噪聲拼接后會(huì)通過(guò)F0轉(zhuǎn)化成視覺(jué)表征。

二、將注意力放在詞層面

在注意力層關(guān)注源文本中的相關(guān)詞匯，并生成圖像不同子區(qū)域的細(xì)粒度細(xì)節(jié)，讓圖像特征的子區(qū)域與詞對(duì)應(yīng)。

最終得到更加語(yǔ)義一致的視覺(jué)表征。

三、視覺(jué)表征通過(guò)F1輸出

F1包含兩個(gè)全連接層和一個(gè)去卷積層，以及一個(gè)殘差層。

通過(guò)這一轉(zhuǎn)化器，捕捉多層次（詞級(jí)和句級(jí)）的語(yǔ)義，輸出生成的視覺(jué)特征f1。

四、多模態(tài)聚合

把原本的文本模態(tài)和新合成的視覺(jué)特征聚合在一起。

五、翻譯

模型的學(xué)習(xí)目標(biāo)結(jié)合了文本到圖片的生成，以及逆任務(wù)的圖像字幕和翻譯。

其中鑒別器源文本、生成圖像和真實(shí)圖像作為輸入，用來(lái)評(píng)估合成圖像是否與真實(shí)圖片一致。

同時(shí)，也會(huì)使用條件對(duì)抗損失來(lái)評(píng)估合成的圖像是否與源語(yǔ)言具有相同的語(yǔ)義。

“腦補(bǔ)”如何幫助翻譯？

研究者使用了一種退化策略，即用特殊字符替換源語(yǔ)言文本中的重要詞語(yǔ)，來(lái)觀察模型的翻譯表現(xiàn)會(huì)下降多少。

在這這種情況下，純文本的翻譯模型只能通過(guò)丟失詞語(yǔ)的上下文和偏置來(lái)推理句子的翻譯。

多模態(tài)機(jī)器翻譯則會(huì)利用標(biāo)注的圖片進(jìn)行翻譯。

而ImagiT在缺少圖片標(biāo)注的情況下，還能根據(jù)退化的文本想象并恢復(fù)丟失的信息。

通過(guò)這一特殊的探索實(shí)驗(yàn)，可以看到ImagiT能在訓(xùn)練階段學(xué)習(xí)特定詞語(yǔ)（色彩，可被具象化的實(shí)體詞等）與其他詞語(yǔ)之間相關(guān)性和共現(xiàn)。

而對(duì)比純文本翻譯，通過(guò)想象恢復(fù)被替換文本的ImagiT模型在翻譯質(zhì)量上下降的幅度也最少。

效果如何？

由于ImagiT不需要圖片作為輸入，所以在測(cè)試時(shí)選用純文本的transformer模型作為baseline。

在Multi30K的英法、英德Test2016，Test2017上進(jìn)行測(cè)試時(shí)，ImagiT得到了與SOTA多模態(tài)翻譯系統(tǒng)相當(dāng)?shù)谋憩F(xiàn)：

而在Ambiguous COCO上也展現(xiàn)出了不錯(cuò)的測(cè)試結(jié)果：

論文地址：
https://arxiv.org/abs/2009.09654