本文經(jīng)AI新媒體量子位（公眾號ID:QbitAI）授權(quán)轉(zhuǎn)載，轉(zhuǎn)載請聯(lián)系出處。

只給AI兩張圖片，就能得到高幀率動態(tài)視頻？

輸入的兩張圖像，重疊后是這樣的：

而算出來的視頻，是醬嬸的：

不錯，這又是視頻插幀算法的功勞。

極限操作玩得6，讓老電影變絲滑的常規(guī)手法，這個名叫RIFE的AI算法同樣信手拈來。

右邊這支經(jīng)典探戈，看上去是不是比左邊絲滑多了？

不僅是老電影，飛行表演的精彩瞬間，也能一口氣從每秒24幀提升到每秒96幀。

這項(xiàng)新研究，來自曠視和北大。不僅能讓老影像資料追上人民群眾對高幀率的需求，支持2X/4X/8X高質(zhì)量插值，它還有一個最大的特點(diǎn)：快。

量子位在Colab上用T4跑了一遍Demo，一個時長53秒的720p 25fps視頻，插值到100fps僅用了2分19秒。

該項(xiàng)目現(xiàn)已開源，并且有官方Demo、第三方Windows應(yīng)用可以試玩。

看過了RIFE的表現(xiàn)，網(wǎng)友們不由驚嘆，這是要超越那只經(jīng)常在各種修復(fù)視頻里出現(xiàn)的插幀AI DAIN，引領(lǐng)一波新潮流的節(jié)奏啊？

一時之間，RIFE在Reddit上的熱度飆升到了2.8k。

那么，這樣的效果究竟是怎么實(shí)現(xiàn)的呢？

從雙向估計，到一步預(yù)測中間幀

視頻插幀，通常是用光流預(yù)測算法來預(yù)測中間幀，并插入兩幀之間。光流，就像光的流動一樣，是一種通過顏色來表示圖像中目標(biāo)移動方向的方式。

△稀疏光流與稠密光流

傳統(tǒng)光流預(yù)測算法，通常根據(jù)前后兩幀視頻來預(yù)測中間的某一幀長啥樣。

將預(yù)測完成的圖像插進(jìn)去后，視頻看起來就會變得更絲滑。

以DAIN的算法為例，如果要預(yù)測t時刻的幀，就需要t時刻的前后兩幀視頻，通過光流預(yù)測算法來實(shí)現(xiàn)。

△DAIN的算法圖

但是這一類的算法會產(chǎn)生一個缺點(diǎn)：在預(yù)測過程中，如果用前后兩幀圖像產(chǎn)生雙向光流，用線性組合來估計中間流，預(yù)測出來的結(jié)果，在運(yùn)動邊界區(qū)域就會出現(xiàn)偽影。

這樣的偽影，使得重建中間幀圖像的效果不盡人意。

那么，如果換一種思路，直接先預(yù)測中間流呢？

相比于利用前一幀和后一幀進(jìn)行兩次估計，這里的IFNET （a Specialized and Efficient Intermediate Flow Network）算法，將直接采用線性運(yùn)動假設(shè)，對中間幀進(jìn)行一次估計。

效果也顯而易見，相比于利用前后兩幀的雙向估計所產(chǎn)生的光流，利用IFNET估計出的光流效果非常清晰，而且?guī)缀鯖]有偽影。

利用這種方式重建圖像，不僅光流邊緣看得清楚，而且速度也更快。

論文提到，RIFE是首個基于光流的實(shí)時視頻插幀方案。

由于中間幀預(yù)測，直接假設(shè)了前后兩幀的變換是線性的，相當(dāng)于每幀預(yù)測中直接少了一次估計。

那么，這個模型，究竟將插幀算法提升到了怎么樣的水平？

運(yùn)行速度遠(yuǎn)超其他方法

前文已經(jīng)提到，RIFE最亮眼的一點(diǎn)是快。

研究人員在UCF101、Vimeo90K、Middlebury OTHER set和HD benchmarks等基準(zhǔn)上，將RIFE與英偉達(dá)的SoftSplat、上交大的DAIN等「前輩」進(jìn)行了對比。

用來測試運(yùn)行時間的是一個640×480的視頻，使用的GPU型號是NVIDIA TITAN X（Pascal）。

從結(jié)果可以看出，在性能相當(dāng)?shù)那闆r下，RIFE基礎(chǔ)模型的運(yùn)行速度超過了所有對比方法。

而模型的大版本RIFE-Large，在性能超越SOTA方法SoftSplat的情況下，運(yùn)行速度快出了30%。

另外，研究人員基于Vimeo90K測試集，提供了可視化的對比結(jié)果。

可以看到綠框部分，SepConv-L1和DAIN產(chǎn)生了偽影，而CAIN鏟子部分則出現(xiàn)了缺失，相對而言，RIFE生成的結(jié)果更為可靠。

安裝包和colab都有，試玩無憂

效果這么美麗的模型，應(yīng)該怎么使用？

目前作者們已經(jīng)給出了預(yù)訓(xùn)練模型的幾種用法，從GitHub項(xiàng)目中可以直接下載網(wǎng)盤版的壓縮包。

無論是用作者提供的demo、還是用你自己想要進(jìn)行插幀的樣本，都可以上手試玩。

當(dāng)然，模型也有colab版本，可以直接在云服務(wù)器上玩模型。

而且，已經(jīng)有玩家做出了Windows版的軟件，可以直接下載下來使用。界面看起來還挺簡潔：

模型RIFE的出現(xiàn)，已經(jīng)讓一些游戲愛好者狂熱了起來：

你們能想象嗎，就算是已經(jīng)吃灰很久的PS2，也可以達(dá)到4k游戲的水平效果了！利用這種算法，3步就能搞定！

不過，也有網(wǎng)友表示了對這種算法的擔(dān)憂。

雖然這種算法速度快、性能高，但實(shí)際上存在一個問題：

這種算法，本質(zhì)上無法聯(lián)想到丟失的幀間信息，所以無法用在安防視頻上。

對于這些方面的應(yīng)用，未來還需要進(jìn)一步考慮。

作者介紹

[[353834]]

黃哲威，論文一作，目前是曠視的一名算法研究員，畢業(yè)于北京大學(xué)。

進(jìn)入北大信科一年后，他獲得了ICPC區(qū)域賽金牌，還成為了曠視科技智能計算組（IC組）的實(shí)習(xí)生，之后參加了NIPS 2017的Learning to Run比賽，使用Actor-Critic Ensemble算法獲得了第二名。此外，在ICCV 2019頂會上，他的論文同樣被收錄。

張?zhí)爝h(yuǎn)，畢業(yè)于北京大學(xué)，就讀期間，論文曾經(jīng)被ICML 2019、ICCV 2019、NIPS 2019等頂會收錄。

衡穩(wěn)，于北京大學(xué)獲計算機(jī)應(yīng)用技術(shù)碩士學(xué)位。

施柏鑫，來自北京大學(xué)，目前是北京大學(xué)信息科學(xué)技術(shù)學(xué)院的助理教授（博雅青年學(xué)者）、研究員、博士生導(dǎo)師。

周舒暢，曠視研究院AI計算組組長，本科畢業(yè)于清華電子系，博士畢業(yè)于中科院計算所，曾獲NeuIPS 2017 Learning to Run Challenge第二名，美國國家標(biāo)準(zhǔn)技術(shù)研究所NIST TRAIT 2016 OCR冠軍。

項(xiàng)目地址：
https://rife-vfi.github.io/

論文地址：
https://arxiv.org/abs/2011.06294

與DAIN效果對比：
https://www.youtube.com/watch?v=60DX2T3zyVo&feature=youtu.be