在科技迅速發(fā)展的今天，生成式人工智能和計算機圖形學(xué)領(lǐng)域的研究日益引人注目，影視制作、游戲開發(fā)等行業(yè)正面臨著巨大的挑戰(zhàn)和機遇。本文將為您介紹一項 3D 生成領(lǐng)域的研究 ——DreamFace，它是首個支持 Production-Ready 3D 資產(chǎn)生成的文本指導(dǎo)漸進(jìn)式 3D 生成框架，能夠?qū)崿F(xiàn)文本生成可驅(qū)動的 3D 超寫實數(shù)字人。

這項工作已經(jīng)被計算機圖形領(lǐng)域國際頂級期刊 Transactions on Graphics 接收，并將在國際計算機圖形頂級會議 SIGGRAPH 2023 上展示。

項目網(wǎng)站：https://sites.google.com/view/dreamface

預(yù)印版論文：https://arxiv.org/abs/2304.03117

Web Demo: https://hyperhuman.top

HuggingFace Space:https://huggingface.co/spaces/DEEMOSTECH/ChatAvatar

引言

自文本和圖像生成技術(shù)取得巨大突破以來，3D 生成技術(shù)逐漸成為了科研和產(chǎn)業(yè)界關(guān)注的焦點。然而，目前市面上的 3D 生成技術(shù)仍然面臨著許多挑戰(zhàn)，包括 CG 管線兼容性問題、準(zhǔn)確性問題以及運行速度問題。

為了解決這些問題，來自影眸科技與上海科技大學(xué)的研發(fā)團(tuán)隊提出了一種文本指導(dǎo)的漸進(jìn)式 3D 生成框架 ——DreamFace。該框架能夠直接生成符合 CG 制作標(biāo)準(zhǔn)的 3D 資產(chǎn)，具有更高的準(zhǔn)確性、更快的運行速度和較好的 CG 管線兼容性。本文將對 DreamFace 的主要功能進(jìn)行詳細(xì)介紹，并探討其在影視制作、游戲開發(fā)等行業(yè)的應(yīng)用前景。

DreamFace 框架概述

DreamFace 框架主要包括三個模塊：幾何體生成、基于物理的材質(zhì)擴散生成和動畫能力生成。這三個模塊相輔相成，共同實現(xiàn)了一種高效而可靠的 3D 生成技術(shù)。

幾何體生成

幾何體生成模塊的核心任務(wù)是根據(jù)文本提示生成與之一致的幾何模型。DreamFace 采用了基于 CLIP（Contrastive Language-Image Pre-Training）的選擇框架，首先從人臉幾何參數(shù)空間內(nèi)隨機采樣的候選項中選擇最佳的粗略幾何模型，然后通過隱式擴散模型（LDM）雕刻幾何細(xì)節(jié)，使頭部模型更符合文本提示。此外，該框架還支持基于文本提示的發(fā)型和顏色生成。

基于物理的材質(zhì)擴散生成

基于物理的材質(zhì)擴散生成模塊旨在預(yù)測與預(yù)測幾何體和文本提示一致的面部紋理。DreamFace 首先將預(yù)先訓(xùn)練的 LDM 在收集的大規(guī)模 UV 材質(zhì)數(shù)據(jù)集上微調(diào)，得到兩個 LDM 擴散模型。然后，采用聯(lián)合訓(xùn)練方案協(xié)調(diào)兩個擴散過程，一個用于直接去噪 UV 紋理貼圖，另一個用于監(jiān)督渲染圖像。

為了確保所創(chuàng)建的紋理地圖不含有不良特征或照明情況，同時仍保持多樣性，設(shè)計了一種提示學(xué)習(xí)策略。團(tuán)隊利用兩種方法生成高質(zhì)量的漫反射貼圖：（1）Prompt Tuning。與手工制作的特定領(lǐng)域文本提示不同，DreamFace 將兩個特定領(lǐng)域的連續(xù)文本提示 Cd 和 Cu 與相應(yīng)的文本提示結(jié)合起來，這將在 U-Net 去噪器訓(xùn)練期間進(jìn)行優(yōu)化，以避免不穩(wěn)定和耗時的手工撰寫提示。（2）非面部區(qū)域遮罩。LDM 去噪過程將額外地受到非面部區(qū)域遮罩的限制，以確保生成的漫反射貼圖不含有任何不需要的元素。

最后，通過超分辨率模塊生成 4K 基于物理的紋理，以進(jìn)行高質(zhì)量渲染。

動畫能力生成

DreamFace 生成的模型具備動畫能力。通過預(yù)測獨特的變形，為生成的靜息（Neutral）模型賦予動畫效果，從而產(chǎn)生個性化的動畫。與使用通用 BlendShapes 進(jìn)行表情控制的方法相比，DreamFace 的神經(jīng)面部動畫方法能夠提供更細(xì)致的表情細(xì)節(jié)，并且能夠精細(xì)地捕捉表演。

應(yīng)用和展望

DreamFace 框架在名人生成、根據(jù)描述生成角色等方面取得了優(yōu)異的成績。此外，還支持使用提示和草圖進(jìn)行紋理編輯，實現(xiàn)全局的編輯效果，如老化和化妝。通過進(jìn)一步結(jié)合掩?；虿輬D，可以創(chuàng)建各種效果，如紋身、胡須和胎記。

DreamFace 的漸進(jìn)式生成框架為解決復(fù)雜的 3D 生成任務(wù)提供了一種有效的解決方案，有望推動更多類似的研究和技術(shù)發(fā)展。此外，基于物理的材質(zhì)擴散生成和動畫能力生成將推動 3D 生成技術(shù)在影視制作、游戲開發(fā)和其他相關(guān)行業(yè)的應(yīng)用，讓我們拭目以待它在未來的發(fā)展和應(yīng)用。