本文經(jīng)AIGC Studio公眾號授權(quán)轉(zhuǎn)載，轉(zhuǎn)載請聯(lián)系出處。

3D服裝生成新工作！谷歌和CMU提出FabricDiffusion：一種將織物紋理從單個(gè)服裝圖像遷移到任意形狀的 3D 服裝的方法。FabricDiffusion性能表現(xiàn)SOTA！同時(shí)可以泛化到unseen的紋理和服裝形狀！收錄頂會(huì)SIGGRAPH Asia 2024！

給定一個(gè)現(xiàn)實(shí)世界的 2D 服裝圖像和一個(gè)原始的 3D 服裝網(wǎng)格，我們提出使用 FabricDiffusion 自動(dòng)從參考圖像中提取高質(zhì)量的紋理貼圖和打印件，并將其轉(zhuǎn)移到目標(biāo) 3D 服裝表面。我們的方法可以處理不同類型的紋理、圖案和材料。此外，F(xiàn)abricDiffusion 不僅能夠生成漫反射反照率，還能生成粗糙度、法線和金屬紋理貼圖，從而能夠在各種照明條件下對制作的 3D 服裝進(jìn)行精確的重新照明和渲染。

論文閱讀

摘要

我們引入了 FabricDiffusion，這是一種將織物紋理從單個(gè)服裝圖像轉(zhuǎn)移到任意形狀的 3D 服裝的方法。現(xiàn)有方法通常通過 2D 到 3D 紋理映射或通過生成模型進(jìn)行深度感知修復(fù)來合成服裝表面的紋理。不幸的是，這些方法通常難以捕捉和保留紋理，這表明我們的模型在合成數(shù)據(jù)和現(xiàn)實(shí)世界中的服裝圖像上的表現(xiàn)明顯優(yōu)于最先進(jìn)的方法，同時(shí)可以推廣到看不見的紋理和服裝形狀。

方法

FabricDiffusion 概述。 給定一張真實(shí)的服裝圖像及其面料材料和印花的區(qū)域捕獲，(a) 我們的模型提取歸一化的紋理和印花，(b) 然后生成高質(zhì)量的基于物理的渲染 (PBR) 材料和透明印花。(c) 這些材料和印花可以應(yīng)用于任意形狀的目標(biāo) 3D 服裝網(wǎng)格 (d) 以實(shí)現(xiàn)逼真的重新照明。我們的模型純粹使用合成數(shù)據(jù)進(jìn)行訓(xùn)練，并實(shí)現(xiàn)了對真實(shí)世界圖像的零樣本泛化。

配對訓(xùn)練數(shù)據(jù)構(gòu)建管道。給定 PBR 材質(zhì)的紋理，我們將其應(yīng)用于目標(biāo)原始 3D 服裝網(wǎng)格和普通網(wǎng)格。3D 服裝使用環(huán)境貼圖渲染，而普通網(wǎng)格使用來自上方的點(diǎn)光源照亮。兩個(gè)網(wǎng)格生成的渲染圖像 (??, ??0 ) 作為訓(xùn)練紋理生成模型的配對訓(xùn)練示例。

實(shí)驗(yàn)

真實(shí)世界服裝圖像上的紋理轉(zhuǎn)移結(jié)果。我們的方法可以處理真實(shí)世界的服裝圖像以生成規(guī)范化的紋理貼圖，以及相應(yīng)的 PBR 材料。PBR 貼圖可以應(yīng)用于 3D 服裝，以實(shí)現(xiàn)逼真的重新照明和渲染。

印花和徽標(biāo)上的結(jié)果可轉(zhuǎn)移到真實(shí)世界的圖像上。給定一張帶有印花和/或徽標(biāo)的真實(shí)服裝圖像，以及印花所在區(qū)域的裁剪補(bǔ)丁。我們的方法會(huì)生成無失真且透明的印花元素，可將其應(yīng)用于目標(biāo) 3D 服裝以實(shí)現(xiàn)逼真的渲染。請注意，背景紋理也是使用我們的方法進(jìn)行傳輸?shù)摹?/span>

圖像到服裝紋理轉(zhuǎn)移的比較。FabricDiffusion忠實(shí)地捕捉并保留輸入服裝的紋理圖案。

PBR 材料提取的定性比較。材料調(diào)色板幾乎無法捕捉織物材料，而我們的 FabricDiffusion 模型能夠恢復(fù)織物紋理的物理特性，尤其是在粗糙度和漫反射圖上。

結(jié)論

本文介紹了FabricDiffusion，這是一種將織物紋理和印花從單個(gè)現(xiàn)實(shí)世界服裝圖像轉(zhuǎn)移到具有任意形狀的 3D 服裝上的新方法。該方法完全使用合成渲染圖像進(jìn)行訓(xùn)練，能夠從野外服裝圖像中生成未失真的紋理和印花。雖然該方法在真實(shí)照片和多樣化紋理圖案方面表現(xiàn)出強(qiáng)大的泛化能力，但它在某些輸入方面面臨挑戰(zhàn)。

具體來說，F(xiàn)abricDiffusion 在重建非重復(fù)圖案時(shí)可能會(huì)產(chǎn)生錯(cuò)誤，并且難以準(zhǔn)確捕捉復(fù)雜印花或徽標(biāo)中的精細(xì)細(xì)節(jié)，特別是因?yàn)槲覀兊闹攸c(diǎn)是具有均勻背景、中等復(fù)雜度和中等失真的印花。