喜歡看動漫的人經(jīng)常會被一些經(jīng)典作品的情節(jié)所吸引，不過畫面質(zhì)量是欣賞下去的大敵 —— 那些超過十年歷史的內(nèi)容自不必說，直到現(xiàn)在，很多動畫的實際分辨率也只是 720p 左右，然后被拉伸到 1080i 以滿足電視臺播放的需求，BD（藍(lán)光）清晰度也只有 1080p。

究其原因，還是成本問題：在動畫制作過程中，讓分辨率提升一個級別，就會導(dǎo)致所有的制作資源大幅提升，從作畫、掃描到處理和存儲，整個產(chǎn)業(yè)鏈條都需要軟硬件的提升。

但今天即使是手機也有個 2K 的分辨率，既然手繪動畫難以提升分辨率，那么能不能用 AI 算法來解決這個問題？

最近，GitHub 上一個圖像超分辨率的項目火了，一個叫做 Real-CUGAN 的工具可以把動畫圖像的質(zhì)量提升 2 到 4 倍，qq 上斗圖的表情包也能給你腦補成 4k 品質(zhì)。

仔細(xì)一看，這個項目來自 bilibili 人工智能實驗室。上線 20 天，star 量已達(dá) 1.5K。

項目鏈接：https://github.com/bilibili/ailab/tree/main/Real-CUGAN

據(jù)作者介紹，Real-CUGAN 是一個使用百萬級動漫數(shù)據(jù)進行訓(xùn)練的，結(jié)構(gòu)與 Waifu2x 兼容的通用動漫圖像超分辨率模型。相比目前市面上已有的通用化超分辨率算法，Real-CUGAN 的 AI 模型經(jīng)過了更大體量數(shù)據(jù)集的訓(xùn)練，處理二次元內(nèi)容的效果更佳。

它支持 2x\3x\4x 倍超分辨率，其中 2 倍模型支持 4 種降噪強度與保守修復(fù)，3 倍 / 4 倍模型支持 2 種降噪強度與保守修復(fù)。

Real-CUGAN 全稱為 Real Cascaded-U-Net-style Generative Adversarial Networks（真實的、級聯(lián) U-Net 風(fēng)格的生成對抗網(wǎng)絡(luò)），使用了與 Waifu2x 相同的動漫網(wǎng)絡(luò)結(jié)構(gòu)，但因為使用了新的訓(xùn)練數(shù)據(jù)與訓(xùn)練方法，從而形成了不同的參數(shù)。

具體來說，該動漫超分模型訓(xùn)練先行對動漫幀進行切塊處理，使用圖像質(zhì)量打分模型對候選塊進行打分過濾，得到一個百萬級的高質(zhì)量動漫圖像塊訓(xùn)練集。然后使用多階段降質(zhì)算法，將高清圖像塊降采樣得到低質(zhì)圖像，讓 AI 模型學(xué)習(xí)、優(yōu)化從低質(zhì)圖像到高質(zhì)圖像的重建過程，訓(xùn)練完畢后即可對真實的二次元低質(zhì)圖像進行高清化處理。

在 GitHub 項目中，作者開源了推理階段的模型參數(shù)與推理代碼。

下面，我們來看一下 Real-CUGAN 的修復(fù)效果。

圖源：https://github.com/bilibili/ailab/tree/main/Real-CUGAN

為了進一步查看幾種修復(fù)方法的差距，研究團隊將 Real-CUGAN 的修復(fù)效果和 Waifu2x、RealESRGAN 進行比較。

下圖是動漫《偵探已死》中的畫面，其中幾種方法對沙發(fā)紋理的修復(fù)差距顯著?？梢钥吹剑?Real-CUGAN 的修復(fù)結(jié)果中，沙發(fā)上的橫向條紋清晰可見，并且?guī)缀鯖]有中斷的部分：

在動漫中，人物清晰的線條對角色形象的塑造具有重要的作用。線條模糊會嚴(yán)重影響觀看體驗。以下圖為例，Real-CUGAN 清晰地修復(fù)了動漫中角色的表情線條：

當(dāng)然，有些場景并非越清晰越好，比如畫面中的一些遠(yuǎn)景，原本就是刻意虛化的。以下圖為例，Real-CUGAN 修復(fù)之后，近景處的人物形象變得更清晰，遠(yuǎn)處的蠟燭仍然保持模糊，使得畫面更有層次感。

還有一些動漫由于年代久遠(yuǎn)，受當(dāng)時技術(shù)條件的限制，畫質(zhì)著實「感人」。例如許多人的童年回憶《黑貓警長》，先前的模型 RealESRGAN（下圖第三列）已獲得了不錯的修復(fù)效果。相比之下 Real-CUGAN（下圖第四列）更好地修復(fù)了一些雜線、模糊的問題，讓畫面更加干凈清晰。

更為重要的是這項技術(shù)想要用很簡單：你下載的模型已訓(xùn)練好，修改 config.py 配置參數(shù)，雙擊 go.bat 運行即可。Real-CUGAN 不僅可用 cuda 加速，也支持 AMD 系列的顯卡，處理速度還很快，筆記本電腦也可以跑得起來。

雖然 Real-CUGAN 默認(rèn)是只處理靜態(tài)圖片的，但很多人已嘗試把視頻拆解成單幀序列進行處理。如此一來，很多上古老番都能自己上手讓它們煥然一新了。

目前 B 站上已經(jīng)有人上傳了一些使用新技術(shù)處理過的視頻，比如這個在 1080p BD 基礎(chǔ)上超分到 4K 的： https://b23.tv/gyB517B

在很多電影修復(fù)之后，老番高清計劃也已在路上。B 站表示，將針對不同品類適配不同的超分算法，并且使用窄帶高清算法降低卡頓，提高流暢度。