今天,給大家介紹上大、騰訊等提出的3D服裝合成新方法ClotheDreamer,它以其革命性的能力,從簡(jiǎn)單的文本提示直接生成高保真、可穿戴的3D服裝資產(chǎn),正在重塑電商與空間計(jì)算領(lǐng)域的未來(lái)。數(shù)字人也能實(shí)現(xiàn)穿、脫衣自由了!

相關(guān)鏈接

論文閱讀：https://arxiv.org/pdf/2406.16815

代碼地址：https://github.com/ggxxii/clothedreamer（即將開(kāi)源）

項(xiàng)目地址：https://ggxxii.github.io/clothedreamer/

論文閱讀

clothedreaming:文本引導(dǎo)的3D高斯服裝生成

摘要

從文本合成高保真 3D 服裝對(duì)于數(shù)字化身創(chuàng)建來(lái)說(shuō)既是理想的也是具有挑戰(zhàn)性的。最近基于擴(kuò)散的分?jǐn)?shù)蒸餾采樣 (SDS) 方法已經(jīng)實(shí)現(xiàn)了新的可能性，但要么與人體錯(cuò)綜復(fù)雜地耦合，要么難以重復(fù)使用。

我們介紹了 ClotheDreamer，這是一種基于 3D 高斯的方法，用于從文本提示生成可穿戴、可用于生產(chǎn)的 3D 服裝資產(chǎn)。我們提出了一種新穎的表示解纏結(jié)服裝高斯濺射 (DCGS) 來(lái)實(shí)現(xiàn)單獨(dú)優(yōu)化。DCGS 將穿衣的化身表示為一個(gè)高斯模型，但凍結(jié)了身體高斯濺射。為了提高質(zhì)量和完整性，我們結(jié)合雙向 SDS 分別監(jiān)督穿衣的化身和服裝 RGBD 渲染和姿勢(shì)條件，并提出了一種針對(duì)寬松服裝的新修剪策略。

我們的方法還可以支持自定義服裝模板作為輸入。得益于我們的設(shè)計(jì)，合成的 3D 服裝可以輕松應(yīng)用于虛擬試穿并支持物理精確的動(dòng)畫(huà)。大量實(shí)驗(yàn)證明了我們方法的卓越和競(jìng)爭(zhēng)力。

方法

ClotheDreamer 概述。給定一個(gè)文本描述，我們首先利用 ChatGPT 確定衣服 ID 類型以進(jìn)行初始化。我們引入了解纏衣服高斯濺射 (DCGS)，它將穿衣服的化身表示為單高斯模型，但凍結(jié)身體高斯濺射以實(shí)現(xiàn)單獨(dú)的監(jiān)督。借助解析高斯濺射 (GS) 渲染，我們使用 Bidreactional SDS 分別根據(jù)姿勢(shì)條件指導(dǎo)衣服和身體 RGBD 渲染。我們還支持模板網(wǎng)格輸入，用于多功能個(gè)性化 3D 服裝生成。

服裝類型。我們提供了六個(gè)常用組來(lái)初始化零拍攝服裝生成中的DCGS。

高斯初始化的重要性。用雙高斯模型渲染穿衣服的角色時(shí)可能會(huì)出現(xiàn)偽影。

實(shí)驗(yàn)

動(dòng)畫(huà)結(jié)果

###自動(dòng)試穿 ClotheDreamer 生成的服裝可以適合不同的體形。

服裝文本生成的定性比較。我們比較了最新的最先進(jìn)的3D生成基線在七種不同的服裝文字描述。請(qǐng)注意，紅色文本強(qiáng)調(diào)未完成的服裝生成，而橙色箭頭表示多余人體部位的幾何偽影。

模板引導(dǎo)服裝生成結(jié)果

雙向SDS制導(dǎo)的消融研究

松衣修剪策略的消融研究

適合不同體型的DCGS服裝

結(jié)論

本文介紹了 ClotheDreamer，這是一種從文本提示生成多樣且可穿戴的3D服裝的創(chuàng)新方法。本文提出了一種新穎的表示方法，名為Disentangled Clothe Gaussian Splatting (DCGS)，能夠有效地將衣服與身體解耦。本文還提出了雙向SDS指導(dǎo)，它分別監(jiān)督帶有姿態(tài)條件的服裝化身RGBD渲染，并引入了一種新的修剪策略，以增強(qiáng)寬松服裝的生成完整性。此外，本文展示了通過(guò)結(jié)合模板網(wǎng)格原語(yǔ)進(jìn)行個(gè)性化生成的多樣性。本文的DCGS服裝可以通過(guò)模擬的網(wǎng)格先驗(yàn)實(shí)現(xiàn)逼真的布料動(dòng)畫(huà)。實(shí)驗(yàn)和用戶研究表明，本文的方法在外觀和幾何質(zhì)量方面優(yōu)于最先進(jìn)的方法。

局限性和未來(lái)工作。盡管 ClotheDreamer 展示了令人鼓舞的結(jié)果，但它仍然存在一些局限性。首先，本文的方法目前整合了上衣和下衣，更精細(xì)的解耦將適用于更復(fù)雜的試穿場(chǎng)景。其次，類似于其他基于SDS的方法，本文的方法在某些情況下也會(huì)出現(xiàn)顏色過(guò)飽和的問(wèn)題。本文相信，探索改進(jìn)SDS的方法可以幫助緩解這個(gè)問(wèn)題。最后，探索為3D高斯表示disentangling lighting以增強(qiáng)逼真度也是一個(gè)有趣的未來(lái)方向。最后，disentangling lighting 增強(qiáng)真實(shí)感的 3D 高斯表示也是一個(gè)有趣的未來(lái)方向。