“特效”已經(jīng)成為抖音用戶在作品投稿時最常見的玩法，而這些五花八門的特效究竟是怎樣制作出來的，卻鮮有人知。

　　7月28日，抖音聯(lián)合火山引擎在北京舉辦智能特效技術(shù)開放日。火山引擎相關(guān)特效技術(shù)專家分享了抖音特效的生產(chǎn)流程和技術(shù)原理。

　　在影視領(lǐng)域，人們對“特效”并不陌生，而且隨著科技的進步，影視特效越來越令人震撼，特別是AI技術(shù)的興起，在動畫建模、渲染、編輯合成等特效制作環(huán)節(jié)帶來了巨大的提升。例如大家熟知的《復(fù)仇者聯(lián)盟》系列，就用了機器學(xué)習(xí)的方法，通過捕捉演員的面部表情來制作滅霸的表情，讓虛擬角色的表情特效達到非常生動、逼真的效果。

　　然而，在另一方面，影視特效的制作成本也非常高。此前有媒體報道好萊塢視覺大片的特效費用至少占總制作費的60%以上。即便在如此高的成本之下，效率也并不盡如人意，據(jù)說1秒的特效鏡頭，如果只用一臺高性能的機器渲染，可能需要50天之久。

　　考慮到抖音特效的用戶都是普通消費者，火山引擎在開發(fā)抖音特效相關(guān)技術(shù)時嚴格遵循了兩個原則：一是要用前沿的技術(shù)來實現(xiàn)好的特效效果，二是盡量降低特效創(chuàng)作和使用的門檻，讓每個人都能用特效更好地表達，做出具有想象力和表現(xiàn)力的內(nèi)容。

　　具體到技術(shù)層面來說，抖音特效主要使用了計算機視覺(CV)和計算機圖形學(xué)(CG)技術(shù)。

　　其中，CV代表對現(xiàn)實世界、對真實畫面內(nèi)容的理解，可以理解畫面里是一個全身人像、還是只是一只手做了某種手勢;也可以去理解畫面里面有沒有天空、地面或者建筑物等等等。

　　深度學(xué)習(xí)技術(shù)的發(fā)展對于CV技術(shù)有非常大的推動作用。深度學(xué)習(xí)是通過人工神經(jīng)網(wǎng)絡(luò)去理解訓(xùn)練樣本內(nèi)在更深層次的規(guī)律，通過數(shù)據(jù)以及模型結(jié)構(gòu)，進行結(jié)構(gòu)化的表達。通過深度學(xué)習(xí)的技術(shù)，可以幫助CV在檢測、分割、智能生成以及SLAM(即時定位與地圖構(gòu)建)等方面，都可以達到更好的精度、準確率以及適應(yīng)面。

　　火山引擎特效技術(shù)專家在分享中也強調(diào)，CV技術(shù)中達到的“人臉貼合”，有別于日常所說的人臉識別技術(shù)，它本質(zhì)上是通過對人臉的關(guān)鍵錨點進行檢測來實現(xiàn)，這些點位的信息，無法還原出人的相貌;而且這些點位數(shù)據(jù)，都只是在手機端上進行檢測，不會上傳到服務(wù)器。

　　除了CV之外，要完成演示中的特效，還需要把一些虛擬的素材，顯示或者疊加渲染到真實畫面上，這就是CG技術(shù)。

　　比如我們在很多抖音特效中會看到，畫面中人臉邊上一直有一個水果，右邊也有很多的水果隨機飛出，這些水果的動畫，還有最后人頭上戴著的3D菠蘿頭飾，都是通過CG技術(shù)疊加上去的。

　　這樣，有了CV與CG技術(shù)之后，可以簡單的生成很多特效。CV提供了對真實場景的理解，告訴你應(yīng)該在哪里疊加虛擬素材;CG技術(shù)完成虛擬素材的疊加任務(wù)。比如把一頂假的帽子戴在頭上，或者做一個假的口紅涂在嘴唇上等等，都是如此。

　　但僅有CV和CG技術(shù)，還不能達到讓用戶以更低門檻使用特效的目標(biāo)。在進一步發(fā)展特效技術(shù)的過程中，火山引擎又引入了模版或者劇本的概念，也就是說用戶可以作為主角帶入到故事情節(jié)當(dāng)中，按照一定的規(guī)則最終形成比較高質(zhì)量的視頻。

　　比如在某些特效中，畫面左邊的水果與右邊飛出來的水果進行碰撞，就會變成一個新的水果，變化多次之后，進入到下一個階段，就會讓用戶頭上戴了一個菠蘿的帽子——這就是在一定規(guī)則下，CV與CG之間的互動技術(shù)。

　　火山引擎特效技術(shù)專家表示，除了CV、CG、互動技術(shù)之外，抖音的特效功能還要通過反復(fù)的工程與產(chǎn)品化的迭代，最終才能夠在抖音當(dāng)中集成、上線，面向所有的用戶。