快手開源圖生視頻模型LivePortrait，等待生成時間僅需10秒，棄擴散改用隱式關(guān)鍵點框架技術(shù)，網(wǎng)友：強得可怕 原創(chuàng)
編輯 | 伊風(fēng)
出品 | 51CTO技術(shù)棧（微信號：blog51cto）
快手開源了LivePortrait模型！
要知道，可靈的文生視頻和圖生視頻功能不僅備受關(guān)注，還一路火到了海外。
這次開源的LivePortrait效果也十足驚艷！雖然驅(qū)動肖像生成視頻的技術(shù)并不算新鮮，但還是靠效果征服了觀眾。
圖片
網(wǎng)友直呼，“太可靈了”。根據(jù)推測，這個技術(shù)很可能已經(jīng)在快影接入的可靈模型里應(yīng)用了一段時間了。
毫無疑問，此次開源大大降低了擁有自己數(shù)字人的門檻！
更妙的是，網(wǎng)友嘗試用開源的代碼進行部署。發(fā)現(xiàn)生成10秒視頻竟然也只需10秒，速度快得可怕。
超快的速度意味著LivePortrait的生成能力已經(jīng)無限逼近實時。未來將可能在實時應(yīng)用上大展拳腳，例如視頻會議、社交媒體直播和實時游戲動畫等場景。
可靈創(chuàng)作者群@guohunyo作品? 項目地址，感興趣的朋友請移步GitHub：
??https://github.com/KwaiVGI/LivePortrait?tab=readme-ov-file??
論文地址：
??https://arxiv.org/pdf/2407.03168??
讀了這篇《LivePortrait：具有縫合和重定向控制的高效肖像動畫》論文后，我們發(fā)現(xiàn)快手在LivePortrait模型上進行了許多創(chuàng)新和改進。
其中最引人關(guān)注的是：LivePortrait放棄了我們所熟知的擴散模型，而是采用了隱式關(guān)鍵點框架。
被網(wǎng)友昵稱為：擠眉弄眼模型
1.隱式關(guān)鍵點框架：不止于快的秘訣
LivePortrait的架構(gòu)包括多個關(guān)鍵組件：外觀特征提取器、規(guī)范隱式關(guān)鍵點檢測器、頭部姿勢估計網(wǎng)絡(luò)、表情變形估計網(wǎng)絡(luò)、扭曲場估計器和生成器。
這些組件協(xié)同工作，將源圖像的特征與驅(qū)動視頻的運動特征結(jié)合起來，生成最終的動畫。
不同于此前走紅的阿里的EMO，其使用了穩(wěn)定擴散方案來生成視頻，通過逐步引入和去除噪聲在潛在空間中生成一幀幀圖像。
LivePortrait的隱式關(guān)鍵點框架使用一組抽象的特征來表示圖像。這些特征重點捕捉了圖像的重要信息，例如面部特征、輪廓等。
生成人物動作和表情時，LivePortrait更不容易“崩壞”。這是因為關(guān)鍵點通常對應(yīng)于面部的特定部位，如眼角、嘴角、鼻子等，這些關(guān)鍵點的位置和變化可以驅(qū)動面部表情和頭部運動。
因此，隱式關(guān)鍵點框架具備良好的靈活性。通過操作關(guān)鍵點，模型可以更精確地控制面部動畫的細節(jié)，實現(xiàn)平滑和逼真的過渡效果。
圖片
上圖：模型可以生動地對圖像進行動畫化，確保無縫拼接，并提供對眼睛和嘴唇運動的精確控制。
同時，關(guān)鍵點的方式使得模型的泛化能力也得到提升。通過學(xué)習(xí)關(guān)鍵點的運動模式，LivePortrait可以更好地泛化到新的、未見過的圖像上。
而擴散模型通常需要更長的推理時間，因為逐步去噪的方法注定增多了生成步驟，使得生成每一幀圖像的時間較長，無法達到“實時”效果。
2.訓(xùn)練方法和訓(xùn)練數(shù)據(jù)
在訓(xùn)練方法上LivePortrait的訓(xùn)練分成了兩個階段。
第一階段，模型在沒有任何預(yù)訓(xùn)練的權(quán)重下，從零開始全面訓(xùn)練，使用了8個NVIDIA A100 GPU，訓(xùn)練時間約為10天。使用了ConvNeXt-V2-Tiny作為主干網(wǎng)絡(luò)，有助于減少模型的計算負擔(dān)。
第二階段，只訓(xùn)練縫合和重定向模塊，而保持其他參數(shù)不變。訓(xùn)練縫合模塊可以確保動畫后的肖像能夠無縫地融入原始圖像空間，特別是在處理多人肖像或全身圖像時；而訓(xùn)練眼睛和嘴唇的重定向模塊，以便能夠根據(jù)驅(qū)動視頻精確控制這些面部特征的運動。第二階段的訓(xùn)練時間約為2天。
在訓(xùn)練數(shù)據(jù)上，LivePortrait的訓(xùn)練數(shù)據(jù)規(guī)模擴展到了約6900萬高質(zhì)量的幀，訓(xùn)練數(shù)據(jù)包括各種姿勢和表情的4K分辨率肖像視頻，以及大量的頭部談話視頻。
現(xiàn)在，訓(xùn)練數(shù)據(jù)的質(zhì)量越來越受到重視。LivePortrait也使用了一些“巧思”確保數(shù)據(jù)的高質(zhì)量。
首先，LivePortrait使用了KVQ等工具來排除低質(zhì)量的視頻片段。其次，在訓(xùn)練數(shù)據(jù)中，將長視頻分割為不超過30秒的片段，確保每個片段只包含一個人，讓模型更精準(zhǔn)的學(xué)習(xí)一個人的表情活動。此外，數(shù)據(jù)十分注重身份多樣性，使用的訓(xùn)練數(shù)據(jù)來自約18.9K個不同的身份，有效避免對特定身份的過擬合。
3.寫在最后
圖生視頻技術(shù)正在跑步進入下一個階段。
在此時，騰訊卻突然宣布將“數(shù)字人”驅(qū)逐出視頻號。騰訊計劃通過修訂《視頻號櫥窗達人“發(fā)布低質(zhì)量內(nèi)容”實施細則》來進一步限制使用數(shù)字人直播，將使用AI工具生成虛擬形象進行直播等行為明確列入低質(zhì)量內(nèi)容。
這無疑釋放了一個信號：AI等技術(shù)生成內(nèi)容帶來的風(fēng)險仍不可小覷，內(nèi)容的不可控、直播“翻車”、誤導(dǎo)消費者等等仍然是技術(shù)尚未解決的難題。
事實正在側(cè)面印證這一觀點，每當(dāng)有社會新聞?wù)Q生時，就不乏好事者用當(dāng)事人的圖像生成煽動性的動態(tài)圖像。
這很可能倒逼平臺收緊生成政策，不斷疊加敏感詞，抱著“寧可錯殺一千不能放過一個”的方式來對待用戶的prompt。
圖片
技術(shù)進步并非孤立發(fā)生。本身中性的技術(shù)如果被濫用，其影響可能深遠且復(fù)雜。
在這樣的背景下，我們不得不深思：公眾的媒介素養(yǎng)應(yīng)該如何提升，才能追得上技術(shù)的日新月異。這不僅關(guān)乎技術(shù)生態(tài)的健康發(fā)展，更關(guān)乎文明。
http://www.scjtxx.cn/aigc/
