本文經(jīng)AI新媒體量子位（公眾號(hào)ID:QbitAI）授權(quán)轉(zhuǎn)載，轉(zhuǎn)載請(qǐng)聯(lián)系出處。

如何讓模糊的老片變高清？

AI的答案是超分辨率算法。

現(xiàn)在，在視頻超分領(lǐng)域，有一個(gè)強(qiáng)大的算法拿下了超分比賽NTIRE 2021三冠一亞的優(yōu)異成績(jī)，登上了CVPR 2022。

它的名字叫做BasicVSR++，是對(duì)視頻超分SOTA模型BasicVSR的進(jìn)一步改進(jìn)。

BasicVSR也曾拿下NTIRE冠軍，入選CVPR 2021。

現(xiàn)在，這個(gè)BasicVSR+++在基本相同的參數(shù)量下，不僅性能大幅超過(guò)前輩，PSNR（峰值信噪比，圖像質(zhì)量評(píng)估指標(biāo)）提高了0.82dB，還能應(yīng)用到更多的視頻復(fù)原任務(wù)中（例如壓縮視頻增強(qiáng)）。

加強(qiáng)版BasicVSR

BasicVSR采用雙向傳播(propagation)+特征對(duì)齊方式，能夠提取整個(gè)輸入視頻中的有效信息進(jìn)行超分。

但是，它這一基本設(shè)計(jì)也限制了信息聚合的功效，比如難以恢復(fù)精細(xì)的細(xì)節(jié)，尤其是在處理復(fù)雜的遮擋區(qū)域時(shí)。

因此，加強(qiáng)版的BasicVSR++在傳播和對(duì)齊方面進(jìn)行了重新改造，采用了二階網(wǎng)格傳播(second-order grid propagation) 和光流引導(dǎo)可變形對(duì)齊 (flow-guided deformable alignment)的設(shè)計(jì)來(lái)改善網(wǎng)絡(luò)中的信息聚合能力，提升遮擋區(qū)域的魯棒性和有效性。

其中，二階網(wǎng)格可以讓信息從不同的時(shí)空位置進(jìn)行前向后后向傳播，讓特征的傳播更有效。

光流引導(dǎo)可變形對(duì)齊則可以讓幀進(jìn)行更具魯棒性的特征對(duì)齊。

采用這一對(duì)齊方式主要是單純的形變對(duì)齊訓(xùn)練效果不穩(wěn)定，盡管可變形卷積 (DCN) 網(wǎng)絡(luò)中具備多樣性的偏移量（offset）使形變對(duì)齊的性能優(yōu)于光流對(duì)齊。

BasicVSR+++具體架構(gòu)如下：

給定輸入視頻，首先采用殘差模塊對(duì)每一幀提取特征；然后這些特征在二階網(wǎng)絡(luò)傳播中進(jìn)行信息傳播，其中對(duì)齊部分采用光流引導(dǎo)形變對(duì)齊；完成信息傳播后，匯聚特征生成輸出圖像。

在16個(gè)同類算法中性能全部最佳

作者對(duì)比了16種不同視頻超分算法的性能、參數(shù)量以及耗時(shí)，結(jié)果是BasicVSR++在所有數(shù)據(jù)集下的兩種退化方式中均取得最佳性能（紅色代表最佳分?jǐn)?shù)，藍(lán)色代表次佳分?jǐn)?shù)）。

特別地，相比大容量滑動(dòng)窗口算法EDSR，BasicVSR++獲得了1.3dB的性能提升，同時(shí)參數(shù)量少65%；

相比之前的最新技術(shù)IconVSR，BasicVSR++在參數(shù)量更少的同時(shí)也帶來(lái)了1dB的性能提升。

更輕量版的BasicVSR++ (S)，相比前輩BasicVSR，也有0.82dB的提升，收益顯著。

而在具體效果中，不管是在REDS4、Vimeo-90K-T還是Vid4數(shù)據(jù)集上，BasicVSR++都能對(duì)極細(xì)節(jié)的圖像進(jìn)行復(fù)原，且效果最好。

目前，BasicVSR++的代碼已經(jīng)開源，感興趣的同學(xué)可以去試試。

作者介紹

一作陳焯杰 (Kelvin C.K. Chan) 來(lái)自南洋理工大學(xué)計(jì)算機(jī)科學(xué)與工程學(xué)院，博士三年級(jí)在讀，本碩畢業(yè)于香港中文大學(xué)。

目前的研究方向?yàn)閳D像/視頻恢復(fù)，一共發(fā)表過(guò)5篇頂會(huì)論文。

通訊作者為他的導(dǎo)師呂健勤（Chen Change Loy），南洋理工大學(xué)計(jì)算機(jī)學(xué)院副教授，商湯-南洋理工大學(xué)聯(lián)合實(shí)驗(yàn)室S-Lab副主任。

他倆也是BasicVSR的原班作者。

BasicVSR++的剩余兩位作者分別為：該校二年級(jí)博士生周尚辰和該校研究員Xu Xiangyu。

論文地址：??https://arxiv.org/abs/2104.13371??

代碼：

https://github.com/ckkelvinchan/RealBasicVSR