在這個(gè)追求高清畫(huà)質(zhì)的時(shí)代，我們對(duì)渣畫(huà)質(zhì)的容忍度越來(lái)越低。

在知乎上搜索「低分辨率」、「渣畫(huà)質(zhì)」，會(huì)看到一大片諸如「如何補(bǔ)救清晰度低的照片」、「如何拯救渣畫(huà)質(zhì)」之類的問(wèn)題。

那么，將渣到馬賽克級(jí)別的畫(huà)面秒變高清，是一種怎樣的體驗(yàn)？杜克大學(xué)的研究人員用 AI 算法告訴你。

GitHub 鏈接：https://github.com/adamian98/pulse

 前所未有，「馬賽克」瞬間變高清

杜克大學(xué)的研究人員提出了一種 AI 算法，稱之為 PULSE（Photo Upsampling via Latent Space Exploration，通過(guò)潛在空間探索的照片上采樣）。

該算法可以將模糊、無(wú)法識(shí)別的人臉圖像轉(zhuǎn)換成計(jì)算機(jī)生成的圖像，其細(xì)節(jié)比之前任何時(shí)候都更加精細(xì)、逼真。

根據(jù)輸入的低分辨率圖片，系統(tǒng)會(huì)生成一系列高清圖像

如果用以前的方法，想要把一張模糊的「大頭照」變清晰，最多只能將這張照片縮放到原始分辨率的八倍。

但是杜克大學(xué)的團(tuán)隊(duì)提出了一種新的方法，僅在幾秒鐘內(nèi)，就可以把 16x16 像素的低分辨率（Low Resolution，以下簡(jiǎn)稱 LR）小圖，放大 64 倍，變成 1024 x 1024 像素的高分辨率（High Resolution，以下簡(jiǎn)稱 HR）圖像。

他們的 AI 工具會(huì)「想象」出一些原本不存在的特征，即使是原本 LR 照片中無(wú)法看到的細(xì)節(jié)，比如毛孔、細(xì)紋、睫毛、頭發(fā)和胡茬等，經(jīng)過(guò)其算法處理后，都能看得一清二楚。

來(lái)看一個(gè)具體示例：

左圖為原始低分辨率圖像，右圖為系統(tǒng)創(chuàng)建的高清圖像

領(lǐng)導(dǎo)該團(tuán)隊(duì)的杜克大學(xué)計(jì)算機(jī)科學(xué)家辛西婭·魯?。–ynthia Rudin）說(shuō)：「以前從來(lái)沒(méi)有像現(xiàn)在這樣，能用這么少的像素，就創(chuàng)造出擁有大量細(xì)節(jié)的超分辨率圖像?！?/p>

在實(shí)際應(yīng)用方向上，論文的共同作者 Sachit Menon 介紹稱：「在這些研究中，我們只是用面部作為概念驗(yàn)證。

但從理論上講，該技術(shù)是通用的，從醫(yī)學(xué)、顯微鏡學(xué)到天文學(xué)和衛(wèi)星圖像，都可以通過(guò)該技術(shù)改善畫(huà)質(zhì)?！?/p>

 打破傳統(tǒng)操作，實(shí)現(xiàn)最佳效果

雖說(shuō)此前已經(jīng)有很多類似的低清變高清的方法，但能夠達(dá)到像素放大 64 倍級(jí)別的，還是業(yè)界首次。

傳統(tǒng)方法：像素匹配，易出 bug

傳統(tǒng)方法處理此類問(wèn)題時(shí)，一般拿到 LR 圖像后，會(huì)「猜測(cè)」需要多少額外的像素，然后試著將此前處理過(guò)的 HR 圖像中相應(yīng)的像素，匹配給 LR 圖像。

而這種單純匹配像素的結(jié)果是，像頭發(fā)和皮膚的紋理這種區(qū)域，會(huì)出現(xiàn)像素匹配錯(cuò)位的現(xiàn)象。

而且該方法還會(huì)忽略了 HR 圖像中，感光性等感知細(xì)節(jié)。所以最終在平滑度、感光度上出現(xiàn)問(wèn)題，結(jié)果依然會(huì)顯得模糊或者不真實(shí)。

之前的一些方法，部分生成結(jié)果有點(diǎn)詭異

 新方法：低清圖像「連連看」 

杜克大學(xué)的團(tuán)隊(duì)則提出的新方法，可以說(shuō)是開(kāi)辟了新的思路。

在拿到一張 LR 圖像后，PULSE 系統(tǒng)不會(huì)慢慢添加新的細(xì)節(jié)，而是遍歷 AI 生成的 HR 圖像，將這些 HR 圖像對(duì)應(yīng)的 LR 圖像與原圖對(duì)比，找到最接近的那張。

打個(gè)比方，相當(dāng)于拿 LR 圖片做個(gè)「連連看」，找到最相似的 LR 版本，那么再反推回去，這張 LR 圖像所對(duì)應(yīng)的 HR 圖像，就是最終要輸出的結(jié)果。

原始 LR 圖片（上），PULSE 輸出的 HR 圖片（中）

HR 圖片對(duì)應(yīng)的 LR 圖（下）

團(tuán)隊(duì)使用了生成對(duì)抗網(wǎng)絡(luò)（簡(jiǎn)稱 GAN ），它包括對(duì)同一張照片數(shù)據(jù)集進(jìn)行訓(xùn)練的兩個(gè)神經(jīng)網(wǎng)絡(luò)，即生成器與鑒別器。

其中，生成器模擬它所受過(guò)訓(xùn)練的人臉，提供 AI 創(chuàng)建的人臉，而鑒別器則獲得了該輸出，并確定它是否足以以假亂真。

隨著經(jīng)驗(yàn)的積累，生成器的經(jīng)驗(yàn)會(huì)越來(lái)越好，直到鑒別器無(wú)法分辨出差異。

他們用一些真實(shí)圖像進(jìn)行試驗(yàn)，效果對(duì)比如下圖所示：

上排為真實(shí)圖片，中排為將真實(shí)圖片下采樣而來(lái) LR 圖像

下排為 PULSE 根據(jù) LR 圖像生成的 HR 圖像

雖然生成的高分辨率圖與原圖仍有一些差距，但是這比以前的方法要清晰很多。

評(píng)估：優(yōu)于其它方法，得分接近真實(shí)照片

團(tuán)隊(duì)在著名的高分辨率人臉數(shù)據(jù)集 CelebA HQ 上評(píng)估了其算法，用 64×，32× 和 8× 的比例因子進(jìn)行了這些實(shí)驗(yàn)。

研究人員要求 40 個(gè)人對(duì)通過(guò) PULSE 和其他五種縮放方法生成的 1440 張圖像進(jìn)行 1 到 5 的評(píng)分，而 PULSE 的效果最佳，得分幾乎與真實(shí)的高質(zhì)量照片一樣高。

HR 為實(shí)際的高清人像數(shù)據(jù)集，得分僅比 PULSE 高 0.14

團(tuán)隊(duì)成員表示，PULSE 可以從嘈雜、低質(zhì)量的輸入中，創(chuàng)建逼真的圖像，即使原圖連眼睛、嘴巴都無(wú)法辨認(rèn)。這是其他方法無(wú)法做到的。

與其它方法對(duì)比，PULSE 將細(xì)節(jié)處理得更為逼真

不過(guò)，該系統(tǒng)還不能用于識(shí)別身份，研究人員表示：「它無(wú)法將安全攝像頭拍攝的失焦、不能識(shí)別的照片，變成真人的清晰圖像。它僅會(huì)生成不存在但看上去很真實(shí)的新面孔?！?/p>

在具體應(yīng)用場(chǎng)景上，除了上文提到的，該技術(shù)未來(lái)可能應(yīng)用在醫(yī)學(xué)、天文學(xué)之外，對(duì)于大眾來(lái)說(shuō)，擁有這項(xiàng)黑科技之后，就可以把 N 年前的老照片變高清。對(duì)于編輯同志們來(lái)說(shuō)，更是一大福音，再也不用為找高清配圖而頭大了。