3D生成是生成式人工智能和計(jì)算機(jī)圖形學(xué)領(lǐng)域最引人注目的話題之一，符合影視、游戲標(biāo)準(zhǔn)的3D生成尤其受產(chǎn)業(yè)界關(guān)注。在生產(chǎn)流程中，一般品類的3D資產(chǎn)往往通過(guò)手工建?；蛘邟呙璧姆绞街谱?。但作為3D資產(chǎn)的一個(gè)重要類別，服裝資產(chǎn)的往往來(lái)源于平面板片與物理模擬等流程，而不是直接在3D上建模。

上?？萍即髮W(xué)、影眸科技與賓夕法尼亞大學(xué)聯(lián)合提出DressCode，它是首個(gè)完全支持 CG 操作，能夠兼容到工業(yè)流程的 3D 服裝生成框架，并通過(guò)文本的引導(dǎo)，實(shí)現(xiàn)自動(dòng)生成具有高質(zhì)量渲染效果、可編輯、可驅(qū)動(dòng)、可仿真的 3D 服裝。

Dresscode已經(jīng)被計(jì)算機(jī)圖形領(lǐng)域國(guó)際頂級(jí)期刊 Transactions on Graphics 接收，并將在國(guó)際計(jì)算機(jī)圖形頂級(jí)會(huì)議 SIGGRAPH 2024 上展示。

• 項(xiàng)目鏈接：???https://sites.google.com/view/projectpage-dresscode???
• 論文鏈接：???https://arxiv.org/abs/2401.16465???

引言

服裝在人類外觀中扮演著重要角色，這突顯了服裝數(shù)字化對(duì)于數(shù)字人創(chuàng)造的重要性。近期在 3D 內(nèi)容創(chuàng)造領(lǐng)域的巨大進(jìn)展對(duì)于數(shù)字人的創(chuàng)造至關(guān)重要。

然而，對(duì)于服裝生成的工作仍有空缺，由于通用生成方法生成的網(wǎng)格或神經(jīng)場(chǎng)與實(shí)際數(shù)字服裝生產(chǎn)流程不兼容，使這類方法直接應(yīng)用于服裝類別并未能達(dá)到很好的效果。

為了解決這些問(wèn)題，來(lái)自影眸科技與上海科技大學(xué)的研發(fā)團(tuán)隊(duì)提出了一個(gè)文本驅(qū)動(dòng)的 3D 服裝生成框架——DressCode，旨在為初學(xué)者設(shè)計(jì)數(shù)字服裝簡(jiǎn)單化，并在時(shí)尚設(shè)計(jì)、虛擬試穿和數(shù)字人創(chuàng)造提供巨大潛力。

該框架可以通過(guò)自然語(yǔ)言交互生成對(duì) CG 流程友好的服裝模型，并且還便于版片補(bǔ)全和紋理編輯， 通過(guò)用戶友好的交互簡(jiǎn)化了設(shè)計(jì)過(guò)程。本文將對(duì) DressCode 的主要功能進(jìn)行詳細(xì)介紹，并探討其在實(shí)際設(shè)計(jì)場(chǎng)景中的應(yīng)用前景。

SewingGPT 框架概述

對(duì)于版片生成模塊，該論文提出了 SewingGPT，這是一個(gè)基于 GPT 的自回歸模型，用于通過(guò)文本提示生縫紉版片。其首先將縫紉版片參數(shù)轉(zhuǎn)換為一系列量化的token，訓(xùn)練了一個(gè) Decoder-only Transformer。并通過(guò)在Transformer中融合使用文本提示詞的交叉關(guān)注力，來(lái)達(dá)到用文本來(lái)引導(dǎo)生成結(jié)果。

訓(xùn)練完成后，該模型可以根據(jù)用戶條件自回歸地生成token序列，并將生成的序列經(jīng)過(guò)反向量化來(lái)得到生成的縫紉版片參數(shù)。

DressCode 框架概述

借助 SewingGPT，該框架能夠直接從文本提示中生成多樣化的縫紉版片。由于材質(zhì)貼圖在 CG 流程中非常關(guān)鍵，該框架為這些版片生成相應(yīng)的基于物理的紋理，更緊密地與服裝設(shè)計(jì)工作流程相契合。

作者們提出的DressCode框架，通過(guò)利用 SewingGPT 和 PBR 紋理生成器來(lái)生成3D服裝的幾何部分與紋理部分，并且進(jìn)一步利用大型語(yǔ)言模型通過(guò)自然語(yǔ)言交互為用戶創(chuàng)建定制服裝。

在實(shí)現(xiàn)通過(guò)文本提示生成縫紉版片和紋理之后，為了在實(shí)際場(chǎng)景中使設(shè)計(jì)師能夠使用自然語(yǔ)言與生成器交互，而不是依賴于數(shù)據(jù)集格式的提示，作者們采用 GPT-4 進(jìn)行內(nèi)容學(xué)習(xí)，以解釋用戶的自然語(yǔ)言輸入，生成幾何提示詞和紋理提示詞。

這些提示詞輸入到 SewingGPT 和 PBR 紋理生成器后，得到生成的縫紉版片與紋理，并經(jīng)過(guò)仿真、渲染得到最終的結(jié)果。同時(shí)，生成的服裝以及 PBR 紋理可以被無(wú)縫整合到工業(yè)軟件中，可以與人體模型進(jìn)行動(dòng)畫驅(qū)動(dòng)，并在各種照明下進(jìn)行渲染，確保生動(dòng)、逼真的效果。

版片補(bǔ)全能力

得益于自回歸模型，SewingGPT可以通過(guò)利用模型提供的概率預(yù)測(cè)，在接收到部分版片信息后補(bǔ)全整個(gè)縫紉版片。此外，輸入一個(gè)文本提示可以指導(dǎo)模型補(bǔ)全縫紉版片。如給定一個(gè)袖子后， 該模型能夠根據(jù)不同的提示補(bǔ)全完成各種縫紉版片。這使得用戶能夠手動(dòng)設(shè)計(jì)部分版片，利用 SewingGPT 進(jìn)行靈感激發(fā)并基于文本提示來(lái)補(bǔ)全服裝。

紋理編輯能力

在近期大多 3D 生成任務(wù)中，無(wú)法產(chǎn)生結(jié)構(gòu)化的 UV 映射是對(duì)實(shí)際應(yīng)用場(chǎng)景一個(gè)重大障礙，尤其是在生成服裝時(shí)，使其無(wú)法用于實(shí)際設(shè)計(jì)場(chǎng)景。本文提出的生成方法，利用縫紉版片表示，使得能夠創(chuàng)建每個(gè)版片獨(dú)特且結(jié)構(gòu)化的 UV 映射。這也促使用戶可以在特定位置便捷得編輯紋理，支持對(duì)紋理貼圖進(jìn)行高效的后處理。

應(yīng)用和展望

DressCode 框架在與其他方法比較中取得了優(yōu)異的成績(jī)，該框架作為第一個(gè)基于縫紉版片的服裝生成工作，能夠讓初學(xué)者和專業(yè)設(shè)計(jì)師都能通過(guò)簡(jiǎn)單的文本提示生成高質(zhì)量的縫紉版片和 PBR 紋理，使服裝設(shè)計(jì)流程大幅簡(jiǎn)單化。

DressCode 的易用性和創(chuàng)新方法有望推動(dòng)數(shù)字服裝的未來(lái)發(fā)展。這類以縫紉版片為基礎(chǔ)的生成任務(wù)，將推動(dòng)虛擬試穿、時(shí)尚設(shè)計(jì)和數(shù)字人創(chuàng)造的數(shù)字服裝領(lǐng)域的發(fā)展，讓我們共同期待。

本文轉(zhuǎn)自 機(jī)器之心 ，作者：機(jī)器之心

原文鏈接:??https://mp.weixin.qq.com/s/oLFpNja7fJZmcwmWHrpgFg??