自拍偷在线精品自拍偷,亚洲欧美中文日韩v在线观看不卡

用deepfake拍電影可以安排了：迪士尼發(fā)布高分辨率換臉?biāo)惴?/h1>

作者：魚羊
新聞 人工智能 算法
超流行的開源deepfake模型DeepFakeLab，在今年的更新中，最大分辨率也只達(dá)到了320×320。

 本文經(jīng)AI新媒體量子位（公眾號ID:QbitAI）授權(quán)轉(zhuǎn)載，轉(zhuǎn)載請聯(lián)系出處。

換臉這件事，從未如此高清。

用deepfake拍電影可以安排了：迪士尼發(fā)布高分辨率換臉?biāo)惴? /></div> <p>最流行的開源deepfake模型DeepFakeLab，在今年的更新中，最大分辨率也只達(dá)到了320×320。</p> <p>而這只來自迪士尼和ETHZ的全新deepfake，在保持高度流暢這一優(yōu)良傳統(tǒng)的同時，還一舉把分辨率拉高到了1024×1024的水平。</p> <p>這也是deepfake的分辨率水平首次達(dá)到百萬像素。</p> <p>這下，換臉之后，每一根眉毛都仍然清晰可見。</p> <div id=用deepfake拍電影可以安排了：迪士尼發(fā)布高分辨率換臉?biāo)惴? /></div> <p>動圖畫質(zhì)略有損失，用靜態(tài)圖來感受一下這個清晰度：</p> <div id=用deepfake拍電影可以安排了：迪士尼發(fā)布高分辨率換臉?biāo)惴? /></div> <p>難怪網(wǎng)友忍不住驚呼：鵝妹子嚶。</p> <h2 class=為特效而生的高分辨率deepfake

在此之前，deepfake技術(shù)的改進(jìn)重點(diǎn)主要在平滑換臉效果，而不是提高分辨率。

但320×320這樣的分辨率下，手機(jī)上看換臉效果可能行云流水看不出破綻，換到大屏幕上，缺陷就會很明顯。

用deepfake拍電影可以安排了：迪士尼發(fā)布高分辨率換臉?biāo)惴? /></div> <p>為了提高分辨率，迪士尼的這項(xiàng)研究主要引入了逐步訓(xùn)練的多向梳狀網(wǎng)絡(luò)，并提出了一個完整的人臉交換管道，包括保留光線和對比度的混合方法，以減少視頻常出現(xiàn)不真實(shí)的抖動，生成時間上穩(wěn)定的視頻序列。</p> <p>具體而言，分為以下幾個步驟：</p> <ul> <li>首先，對輸入人臉進(jìn)行裁剪和歸一化預(yù)處理，將人臉歸一化為1024×1024分辨率，并保存歸一化參數(shù)。</li> <li>而后，預(yù)處理過的圖像會被輸入到通用編碼器中，用相應(yīng)的解碼器Ds進(jìn)行解碼。</li> <li>最后，用多頻段混合方法來交換目標(biāo)人臉和源人臉。</li> </ul> <div id=用deepfake拍電影可以安排了：迪士尼發(fā)布高分辨率換臉?biāo)惴? /></div> <h3 class=漸進(jìn)式訓(xùn)練的多向梳狀網(wǎng)絡(luò)

在網(wǎng)絡(luò)架構(gòu)上，迪士尼采用了單個編碼器、多個解碼器的方案，稱作“梳子模型”。

即，網(wǎng)絡(luò)的編碼部分是共享的，而解碼路徑則分成P個域。

用deepfake拍電影可以安排了：迪士尼發(fā)布高分辨率換臉?biāo)惴? /></div> <p>這樣一來，一個模型就能同時處理多個源-目標(biāo)對。</p> <p>并且，實(shí)驗(yàn)表明，與雙向模型相比，多向訓(xùn)練模型可以提高表達(dá)的保真度。</p> <p>由于多向編碼器允許生成不同的輸出，這些輸出既可以對應(yīng)不同的身份，也可以對應(yīng)不同照明條件下的同一張臉。</p> <p>此外，還有一重優(yōu)勢是，相比于雙向網(wǎng)絡(luò)，使用單一網(wǎng)絡(luò)的訓(xùn)練時間能明顯減少。</p> <p>網(wǎng)絡(luò)的訓(xùn)練，則采取<strong>漸進(jìn)式機(jī)制</strong>。</p> <p>首先，對高分辨率輸入數(shù)據(jù)進(jìn)行下采樣，形成粗糙的低分辨率圖像，先用這些低分辨率圖像進(jìn)行訓(xùn)練。此后，逐步在訓(xùn)練中加入高分辨率圖像，逐漸擴(kuò)大網(wǎng)絡(luò)的容量。</p> <h3 class=消除時間偽影

為了消除可見的時間偽影，研究人員還提出了一種穩(wěn)定標(biāo)志物定位算法的方法。

具體而言，是對人臉進(jìn)行初始檢測和對其，并標(biāo)記人臉邊界框的寬度w 。

然后，通過在圖像平面的不同方向上擾動βw個像素，來重新初始化原始邊界框n次。

研究人員發(fā)現(xiàn)，在1024×1024分辨率下，β=0.05和n=9時，可以消除所有可見的時間偽影。

保留光線和對比度的混合方法

不過，即使人臉已經(jīng)完全對齊，姿勢和面部表情也完全匹配，光度失準(zhǔn)等問題，依然會造成換臉效果的不和諧。

比如出現(xiàn)明顯的接縫。

用deepfake拍電影可以安排了：迪士尼發(fā)布高分辨率換臉?biāo)惴? /></div> <p>針對這個問題，研究人員采用了保留光線和對比度的多頻段混合方法，并強(qiáng)制要求邊界平滑效果只傳播人臉內(nèi)部，確保外側(cè)的人臉輪廓不會被平滑掉。</p> <p>與常用的泊松混合（Poisson blending）方法相比，在目標(biāo)人臉圖像和源人臉圖像光照不同的情況下，該方法消除偽影的效果更好。</p> <div id=用deepfake拍電影可以安排了：迪士尼發(fā)布高分辨率換臉?biāo)惴? /></div> <p>所以，這個高清deepfake的效果應(yīng)該如何評價？</p> <p>直接看對比：</p> <div id=用deepfake拍電影可以安排了：迪士尼發(fā)布高分辨率換臉?biāo)惴? /></div> <h2 class=deepfake登上大熒幕，指日可待

不過，研究人員也指出，這個高清deepfake仍有局限性。

從展示的示例中可以看出，大部分人臉圖像都是正對鏡頭的。

夸張的表情、極端的角度和光線，仍然會導(dǎo)致模糊和偽影。

用deepfake拍電影可以安排了：迪士尼發(fā)布高分辨率換臉?biāo)惴? /></div> <p>但分辨率的提升，依然給deepfake帶來了全新的商業(yè)可能性。</p> <p>迪士尼就曾經(jīng)在《星球大戰(zhàn)》系列電影《俠盜一號》里，用特效換臉技術(shù)讓已故演員Peter Cushing和Carrie Fisher重返熒幕。</p> <p>不過，采用傳統(tǒng)特效技術(shù)，通常要花費(fèi)數(shù)月時間，才能獲得幾秒鐘的畫面，成本十分高昂。</p> <p>相比之下，構(gòu)建原始模型之后，deepfake在數(shù)小時之內(nèi)就能完成換臉視頻的制作。</p> <p>看來，deepfake技術(shù)登上大屏幕，或許離實(shí)現(xiàn)不遠(yuǎn)了。</p> <h2 class=傳送門

論文地址：
http://studios.disneyresearch.com/2020/06/29/high-resolution-neural-face-swapping-for-visual-effects/

 

責(zé)任編輯：張燕妮 來源： 量子位
算法模型deepfake
相關(guān)推薦

2012-01-05 16:08:57

佳能激光打印機(jī)

2023-02-16 07:30:55

圖形編輯器屏幕開發(fā)

2011-11-14 13:30:27

惠普掃描儀

2022-12-05 15:27:52

VR技術(shù)

2023-10-27 08:30:52

傳輸接口刷新率

2011-10-31 17:12:42

激光打印機(jī)評測

2024-06-05 09:26:50

2025-02-05 12:41:21

線性新范式分辨率

2012-01-17 10:35:31

惠普掃描儀

2011-10-28 15:52:22

激光打印機(jī)評測

2018-11-16 09:50:46

Windows 10高分辨率屏幕截圖

2018-07-19 15:00:41

衛(wèi)星圖像

2022-11-01 08:00:00

2011-04-28 13:09:49

2020-09-21 16:11:04

Adobe 軟件平臺

2017-11-15 10:12:55

PC4KWindows

2012-11-02 13:18:11

筆記本

2018-03-02 15:39:18

顯示器分辨率主流

2012-10-08 16:45:47

索尼VPL-F500H投影機(jī)

2019-01-14 14:56:17

分辨率1080P2K
點(diǎn)贊
收藏

51CTO技術(shù)棧公眾號