AI斗圖神器：普通視頻秒變meme，手繪動畫輕松融入，了解一下？
哎鴨，鴨鴨摔倒了！
鴨鴨是真的，摔跤是真的，但端的咖啡和端咖啡的手，是AI給p上去的。
△還好手里的咖啡只灑了億點(diǎn)點(diǎn)
來自一個開源項(xiàng)目，VideoDoodles，這兩天在外網(wǎng)上的討論度直線上升。
這項(xiàng)目妙就妙在，能給視頻加上手繪風(fēng)格的涂鴉，可可愛愛的也行，奇奇怪怪的也行。
就跟人工一幀一幀畫上去的沒差。
這對目前市場上大多數(shù)的2D視頻編輯軟件來說，還是比較難的。想要達(dá)成同等效果，一般還是得創(chuàng)作者真·一幀一幀畫上去。
怪費(fèi)力氣的。
但VideoDoodles能靠在視頻中重建3D場景，然后在其中放置平面畫布，來生成這種效果。
不少人表示，可以用它來裝飾視頻，加加卡通效果or花字，然后進(jìn)一步加工成meme/表情包。
搞笑視頻也安排，在路上了！
想加什么手繪效果就加什么
VideoDoodles是醬嬸宣稱自己的效果的：
在視頻中輕松、任意地插入手繪動畫，還是和視頻內(nèi)容無縫融合的那種。
真的嗎？一起來看看。
和給鴨鴨加胳膊加手一樣，VideoDoodles可以給任意物種加上四肢。
火烈鳥可以端著自己搖晃的紅酒杯，悠閑地在水里泡jio。
小火車從遠(yuǎn)處駛來，揮舞著雙手，xiu的從鏡頭里開過去了。
當(dāng)然，想要加一個四肢健全的動物在視頻片段里，也是沒問題的。
Be like這個肩膀上的小松鼠：
可以看到，不管這位女士怎么步行前進(jìn)，小松鼠都老老實(shí)實(shí)呆在她肩膀上。
除了肢體動作，也可以用VideoDoodles來給視頻片段加綜藝后期的花字。
靜態(tài)文字：
動來動去的文字：
都有不錯的生成效果。
以及，蹭一個剛結(jié)束的奧運(yùn)會的余熱，VideoDoodles可以給各種各樣的大幅度運(yùn)動加手繪。
或是箭頭指向：
或是超人卡通特效：
咋實(shí)現(xiàn)的？
給視頻內(nèi)容加上手繪動畫，現(xiàn)在的慣常做法，是把視頻本身作為底層，然后利用人工逐幀繪制2D動畫效果。
這樣做效率相對較低，而且需要保證手繪動畫效果要跟蹤動態(tài)、解決透視變形和適配遮擋物。
能搞定，但費(fèi)人費(fèi)時間。
那么，VideoDoodles是如何處理動態(tài)物體的跟蹤，還有動畫同步的呢?
它提供了一簡單的界面來幫助大家完成視頻涂鴉——“簡單”，意味著老手和小白都能輕松畫起來。
?
而項(xiàng)目背后，是利用3D場景重建技術(shù)，實(shí)現(xiàn)涂鴉自然融入視頻場景，包括追蹤、透視變形和遮擋等復(fù)雜視覺效果。
具體而言，VideoDoodles先把視頻內(nèi)容進(jìn)行3D重建，而后在視頻中放置平面畫布，這些畫布在3D場景中被跟蹤，然后逐幀添加手繪動畫。
通過自定義算追蹤算法，VideoDoodles鎖定畫布對應(yīng)的視頻場景中的物體，完成畫布跟隨物體運(yùn)動進(jìn)行移動和旋轉(zhuǎn)。
在VideoDoodles的用戶交互界面中，用戶可以通過關(guān)鍵幀位置和方向，在2D圖像空間的UI中精細(xì)控制畫布。
而系統(tǒng)則是通過跟蹤視頻中，移動對象的運(yùn)動來精心插入關(guān)鍵幀。
簡而言之，VideoDoodles是根據(jù)關(guān)鍵幀表達(dá)的用戶意圖，利用自有算法解決被遮擋、透視變換，在視頻的任意幀渲染場景感知畫布，并使畫布緊緊跟隨移動的物體。
而且關(guān)鍵幀可以有任意數(shù)量的位置、方向。
如下面這張圖，VideoDoodles就是通過第一幀涂紅部分處的方向&位置，和最后一幀涂綠的位置，從而在整個視頻中連貫地渲染相應(yīng)的畫布。
具體操作中，流程大致是這樣的：
最后介紹一下：
VideoDoodles這項(xiàng)研究，由Adobe研究院，蔚藍(lán)海岸大學(xué)，以及代爾夫特理工大學(xué)的研究人員共同完成。
研發(fā)團(tuán)隊(duì)負(fù)責(zé)人表示：
我們的目標(biāo)是簡化“視頻涂鴉”的創(chuàng)作過程。
這種新興的混合媒介藝術(shù)形式結(jié)合了視頻內(nèi)容和手繪動畫，可以用于娛樂或教育目的。
有了VideoDoodles，希望更多人能夠輕松實(shí)現(xiàn)「將想象力注入現(xiàn)實(shí)世界」。
本文轉(zhuǎn)自 量子位 ，作者：量子位
