把視頻變慢動作你可能會想到插幀的方法，但這種方法無法處理高速運(yùn)動的物體，可能會導(dǎo)致模糊、過曝等問題！華為在CVPR2021發(fā)表了一篇文章，同時使用事件相機(jī)和普通相機(jī)進(jìn)行插幀，畫質(zhì)提升到新高度！

如何把一段正常的視頻變慢？

常見的方法就是插幀，在視頻的關(guān)鍵幀之間預(yù)測圖像中的物體運(yùn)動狀態(tài)生成中間幀。

在缺少額外信息的情況下，必須借助光流（optical flow）進(jìn)行一階近似（first-order approximations），但這種方法能夠建模的物體運(yùn)動類型比較少，從而可能導(dǎo)致在高度動態(tài)的場景下插幀錯誤的情況。

事件相機(jī)（event camera）是一種新型傳感器，可以通過在幀間的盲時間（blind-time）內(nèi)提供輔助視覺信息來解決這一限制。通過異步測量每個像素亮度的變化，事件相機(jī)能夠以高時間分辨率（temporal resolution）和低延遲來實(shí)現(xiàn)這種效果。

事件相機(jī)不同于傳統(tǒng)相機(jī)拍攝一幅完整的圖像，事件相機(jī)主要拍攝的是事件，可以理解為像素亮度的變化就是一個事件。

傳統(tǒng)相機(jī)的拍攝過程需要一個曝光時間，這個幀率極大的限制了事件捕獲的延遲，即便幀率達(dá)到1000Hz，仍然存在1ms的延遲，對于拍攝慢動作來說這個延遲已經(jīng)很高了。如果物體存在高速運(yùn)動，就會產(chǎn)生模糊。

并且過曝現(xiàn)象也比較常見，在光線極差或者亮度極高時，相機(jī)獲取的信息有限，丟失了應(yīng)有的細(xì)節(jié)。

事件相機(jī)從硬件的設(shè)計上來解決上述問題，它的原理就是當(dāng)某個像素的亮度變化累計達(dá)到一定閾值后，輸出一個事件，這個閾值是相機(jī)的固有參數(shù)。

事件相機(jī)中的事件具有三要素：時間戳、像素坐標(biāo)與極性，也就是在什么時間，哪個像素點(diǎn)，發(fā)生了亮度的增加或減小。

當(dāng)場景中由物體運(yùn)動或光照改變造成大量像素變化時，會產(chǎn)生一系列的事件，這些事件以事件流(Events stream)方式輸出。事件流的數(shù)據(jù)量遠(yuǎn)小于傳統(tǒng)相機(jī)傳輸?shù)臄?shù)據(jù)，且事件流沒有最小時間單位，所以可以做到非常低的延遲。

在事件相機(jī)眼中，世界只有明暗的變化，如下圖紅色和藍(lán)色分別表示當(dāng)前像素亮度的增加或減小，也是一組事件流積累獲得的一組事件。

事件相機(jī)具有低延遲(<)、高動態(tài)范圍()、極低功耗()等特性。

然而事件相機(jī)也并非萬能，雖然這些方法可以捕捉非線性運(yùn)動，但它們會受到重影的影響，并且在事件較少的低紋理區(qū)域中表現(xiàn)不好。

所以基于合成和基于流的方法應(yīng)當(dāng)是互補(bǔ)而非對立的。

針對這個問題，華為技術(shù)（Huawei Technologies）在蘇黎世的研究中心研究院在CVPR 2021 上發(fā)表了一篇文章，介紹了一個新模型Time Lens，能夠同時利用兩種相機(jī)的優(yōu)點(diǎn)。

Time Lens是一個基于學(xué)習(xí)的框架，由四個專用模塊組成，這些模塊互相之間可以進(jìn)行補(bǔ)充插值，能夠同時進(jìn)行基于warping和合成的插值。

1、基于warping的插值模塊（Interpolation by synthesis），通過使用從各個事件序列估計的光流warping邊界RGB關(guān)鍵幀來估計新幀；

首先通過反轉(zhuǎn)事件序列，分別使用事件的邊界關(guān)鍵幀I0和I1之間的新幀估計光流。使用計算出的光流，使用可微干涉在時間步長τ中warping邊界關(guān)鍵幀，從而產(chǎn)生兩個新的幀估計值。

與傳統(tǒng)基于warping的插值方法主要區(qū)別在于后者使用幀本身計算關(guān)鍵幀之間的光流，然后使用線性運(yùn)動假設(shè)近似潛在中間幀和邊界之間的光流。當(dāng)幀之間的運(yùn)動是非線性的且關(guān)鍵幀受到運(yùn)動模糊的影響時，此方法不起作用。

相比之下，論文的方法計算來自事件的光流，因此可以自然地處理模糊和非線性運(yùn)動。盡管事件是稀疏的，但只要產(chǎn)生的流足夠密集，尤其是在具有主要運(yùn)動的紋理區(qū)域就很有效，這對于插值也最為重要。

2、warping refinement模塊通過計算剩余光流來改進(jìn)這種幀估計；

通過估算剩余光流，細(xì)化模塊能夠基于warping之間的插值結(jié)果計算細(xì)化的插入幀。然后通過估計的剩余光流再次測量τ。細(xì)化模塊的靈感來源于光流和奇偶性細(xì)化模塊的有效性，也來源于研究人員觀察到的合成插值結(jié)果通常與實(shí)際標(biāo)注真值新框架完全一致。除了計算剩余流外，warping細(xì)化模塊還通過填充對值附近的阻塞區(qū)域進(jìn)行修復(fù)。

3、合成插值模塊通過直接融合來自邊界關(guān)鍵幀和事件序列的輸入信息來估計新幀；

在給定左幀I0和右?guī)琁1的RGB關(guān)鍵幀和事件序列E0的情況下，直接回歸新幀。該插值方案的優(yōu)點(diǎn)在于處理照明變化的能力，如水反射和場景中新對象的突然出現(xiàn)都能有效處理。與基于warping的方法不同，它不依賴于亮度恒定性假設(shè)。但主要缺點(diǎn)是，當(dāng)事件信息因高對比度閾值而有噪聲或不足時，圖像邊緣和紋理會失真。

4、基于注意力的平均模塊結(jié)合了基于warping和基于合成的插值結(jié)果。

注意力平均模塊，以像素方式混合合成和基于warping的插值結(jié)果來獲得最終插值結(jié)果。利用基于warping和合成的插值方法的互補(bǔ)性，其PSNR比兩種方法的結(jié)果高1.73 dB。

其他的研究使用了類似的策略，但是這些工作僅混合了基于warping的插值結(jié)果以填充遮擋區(qū)域，而這篇論文中混合了基于warping和合成的結(jié)果，因此也可以處理光線變化。使用一個以插值結(jié)果為輸入的張力網(wǎng)絡(luò)來估計混合系數(shù)，光流結(jié)果和雙線性系數(shù)τ取決于新幀作為具有常量值的通道的位置。

Time Lens的框架能夠使生成的插入幀成為具有顏色和高紋理細(xì)節(jié)的新幀，同時能夠處理非線性運(yùn)動、光線變化和運(yùn)動模糊。在整個工作流中，所有的模塊都使用相同的骨架結(jié)構(gòu)沙漏網(wǎng)絡(luò)（hourglass network），沙漏網(wǎng)絡(luò)能夠在收縮和擴(kuò)張部分之間進(jìn)行跳躍連接（skip connections）。

在用于編碼事件序列的學(xué)習(xí)表示時，所有模塊都使用voxel grid表示。

在三個合成基準(zhǔn)和兩個真實(shí)基準(zhǔn)上對的方法進(jìn)行評估后，實(shí)驗(yàn)結(jié)果顯示，與最先進(jìn)的基于幀和基于事件的方法相比，PSNR指標(biāo)提高了5.21 dB，畫質(zhì)有所提升。

除此之外，研究人員還在高動態(tài)的場景中發(fā)布了一個新的大規(guī)模數(shù)據(jù)集，使用一個事件相機(jī)和RGB相機(jī)同時拍攝，記錄室內(nèi)和室外各種條件下的數(shù)據(jù)。序列記錄在室外的曝光時間低至100μs，在室內(nèi)曝光時間為1000μs。

該數(shù)據(jù)集的幀速率為160 FPS，相比以往的數(shù)據(jù)集要高得多，并且使用真實(shí)彩色幀創(chuàng)建更大的跳幀。該數(shù)據(jù)集包括具有非線性運(yùn)動的高度動態(tài)近距離場景和主要以cam時代自我運(yùn)動為特征的遠(yuǎn)距離場景。

對于遙遠(yuǎn)的場景，立體校正足以實(shí)現(xiàn)良好的每像素對齊。對于每個序列，根據(jù)深度通過立體校正或使用基于特征的單應(yīng)估計來執(zhí)行對齊。在RGB圖像和E2VID重建之間執(zhí)行標(biāo)準(zhǔn)立體校準(zhǔn)，并相應(yīng)地校正圖像和事件。對于動態(tài)近景，還通過匹配這兩個圖像之間的SIFT特征來估計全局同調(diào)。