高質(zhì)量的視頻通常在時(shí)間上具有一致性，但由于各種原因，許多視頻會(huì)出現(xiàn)閃爍。例如，由于一些老相機(jī)硬件質(zhì)量較差，不能將每幀的曝光時(shí)間設(shè)置為相同，因此舊電影的亮度可能非常不穩(wěn)定。此外，具有非常短曝光時(shí)間的高速相機(jī)可以捕捉室內(nèi)照明的高頻率（例如 60 Hz）變化。

將圖像算法應(yīng)用于時(shí)間上一致的視頻時(shí)可能會(huì)帶來閃爍，例如圖像增強(qiáng)、圖像上色和風(fēng)格轉(zhuǎn)換等有效的處理算法。

視頻生成方法生成的視頻也可能包含閃爍偽影。

由于時(shí)間上一致的視頻通常更具視覺上的吸引力，從視頻中消除閃爍在視頻處理和計(jì)算攝影領(lǐng)域中非常受歡迎。

該 CVPR 2023 論文致力于研究一種通用的閃爍去除方法：（1）對(duì)于各種閃爍模式或水平均具有較高的泛化性（例如，舊電影、高速相機(jī)拍攝的慢動(dòng)作視頻），（2）僅需要一段閃爍視頻，并不需要其他輔助信息（例如，閃爍類型、額外的時(shí)間一致視頻）。由于該方法沒有過多假設(shè)，它具有廣泛的應(yīng)用場(chǎng)景。

代碼鏈接：https://github.com/ChenyangLEI/All-in-one-Deflicker

項(xiàng)目鏈接：https://chenyanglei.github.io/deflicker

論文鏈接：https://arxiv.org/pdf/2303.08120.pdf

方法

通用的閃爍去除方法很具有挑戰(zhàn)性，因?yàn)樵跊]有任何額外指導(dǎo)的情況下很難強(qiáng)制整個(gè)視頻的時(shí)間一致性。

現(xiàn)有的技術(shù)通常為每種閃爍類型設(shè)計(jì)特定的策略，并使用特定的知識(shí)。例如，對(duì)于由高速攝像機(jī)拍攝的慢動(dòng)作視頻，之前的工作可以分析照明頻率。對(duì)于通過圖像處理算法處理的視頻，盲目視頻時(shí)域一致性算法可以利用時(shí)域上一致的未處理視頻上作為參考，從而獲得長(zhǎng)期的一致性。然而，閃爍類型或未經(jīng)處理的視頻并不總是可用的，因此現(xiàn)有的特定于閃爍的算法無法應(yīng)用于這種情況。

一個(gè)直觀的解決方案是使用光流來跟蹤對(duì)應(yīng)關(guān)系。然而，從閃爍視頻中獲得的光流不足夠準(zhǔn)確，光流的累積誤差也會(huì)隨著幀數(shù)的增加而增加。

通過兩個(gè)關(guān)鍵的觀察和設(shè)計(jì)，作者成功提出了一個(gè)通用的、無需額外指導(dǎo)的通用去閃爍方法，可以消除各種閃爍偽影。

一種良好的盲去閃爍模型應(yīng)該具有跟蹤所有視頻幀之間對(duì)應(yīng)點(diǎn)的能力。視頻處理中的多數(shù)網(wǎng)絡(luò)結(jié)構(gòu)只能采用少量幀作為輸入，導(dǎo)致感知野較小，無法保證長(zhǎng)期一致性。研究者觀察到神經(jīng)圖集非常適合閃爍消除任務(wù)，因此將引入神經(jīng)圖集到這項(xiàng)任務(wù)中。神經(jīng)圖集是視頻中所有像素的統(tǒng)一且簡(jiǎn)潔的表示方式。如圖 (a) 所示，設(shè) p 為一個(gè)像素，每個(gè)像素 p 被輸入到映射網(wǎng)絡(luò) M 中，該網(wǎng)絡(luò)預(yù)測(cè) 2D 坐標(biāo)（up，vp），表示像素在圖集中對(duì)應(yīng)的位置。理想情況下，不同幀之間的對(duì)應(yīng)點(diǎn)應(yīng)該共享圖集中的一個(gè)像素，即使輸入像素的顏色不同也應(yīng)該如此。也就是說，這可以確保時(shí)間一致性。

其次，雖然從共享的圖層中獲取的幀是一致的，但圖像的結(jié)構(gòu)存在缺陷：神經(jīng)圖層不能輕松地建模具有大運(yùn)動(dòng)的動(dòng)態(tài)對(duì)象；用于構(gòu)建圖層的光流也不完美。因此，作者們提出了一種神經(jīng)過濾策略，從有缺陷的圖層中挑選好的部分。研究者們訓(xùn)練了一個(gè)神經(jīng)網(wǎng)絡(luò)來學(xué)習(xí)兩種類型的失真下的不變性，這兩種失真分別模擬了圖層中的偽影和視頻中的閃爍。在測(cè)試時(shí)，該網(wǎng)絡(luò)可作為過濾器很好地工作，以保留一致性屬性并阻止有缺陷的圖層中的偽影。

實(shí)驗(yàn)

研究者構(gòu)建了一個(gè)包含各種真實(shí)閃爍視頻的數(shù)據(jù)集。廣泛的實(shí)驗(yàn)表明，在多種類型的閃爍視頻上，研究者的方法實(shí)現(xiàn)了令人滿意的去閃爍效果。研究者的算法甚至在公共基準(zhǔn)測(cè)試中優(yōu)于使用額外指導(dǎo)的基線方法。

研究者提供了 (a) 處理的到的閃爍視頻和合成的閃爍視頻的定量比較，研究者的方法的變形誤差比基線要小得多，根據(jù) PSNR，研究者的結(jié)果在合成數(shù)據(jù)上也更接近于真實(shí)值。對(duì)于其他真實(shí)世界視頻，研究提供了 (b) 雙盲實(shí)驗(yàn)以進(jìn)行比較，大多數(shù)用戶更喜歡研究者的結(jié)果。

如上圖所示，研究者的算法可以很好的去除輸入視頻中的閃爍。注意，第三列圖片展示了神經(jīng)圖層的結(jié)果，可以觀察到明顯的缺陷，但是研究者的算法可以很好的利用其一致性又避免引入這些缺陷。

該框架可以去除老電影、AI生成視頻中包含的不同類別的閃爍。