這項新技術(shù)則提出了一種利用真實(shí)照片和大量合成圖像對新的三重域平移網(wǎng)絡(luò)。具體來說，他們訓(xùn)練了兩個變分自編碼器(VAE)，它們分別將舊照片和干凈照片轉(zhuǎn)換為兩個隱空間。而這兩個隱空間之間的轉(zhuǎn)換可以通過合成配對數(shù)據(jù)來學(xué)習(xí)。

由于域間距在緊湊的隱空間中是封閉的，所以這種平移可以很好地被應(yīng)用到真實(shí)的照片上。為了解決在一張老照片中混合的多重降解問題，他們設(shè)計了一個全局分支和一個局部非局域分支，其針對的對象是結(jié)構(gòu)缺陷如劃痕和灰塵點(diǎn)以及噪點(diǎn)和模糊等局域分支。在隱空間中融合兩個分支能提高從多個缺陷中恢復(fù)舊照片的能力。該方法在圖像恢復(fù)的視覺質(zhì)量方面優(yōu)于現(xiàn)有的方法。

技術(shù)演示視頻

然而不幸的是，微軟還沒有提供一個演示網(wǎng)站來測試這項技術(shù)。