一鍵換裝，被谷歌給實現(xiàn)了！

這個AI試衣模型TryOnDiffusion，你只要給它一張自己的全身照，和服裝模特的照片，就能知道自己穿上這件衣服之后是什么樣子了。

主打的就是一個真實。所以，是真人版奇跡暖暖吧？

按說，各種換裝的AI早就有不少了，谷歌的這個AI模型究竟有何突破呢？

項目地址：https://tryondiffusion.github.io/

關(guān)鍵就在于，他們提出了一種基于擴(kuò)散的框架，把兩個Parallel-Unet統(tǒng)一了起來。

在以前，這種模型的關(guān)鍵挑戰(zhàn)就在于，如何既保留衣服細(xì)節(jié)，又能將衣服變形，同時還能適應(yīng)不同主體的姿勢和形狀，讓人感覺不違和。

以前的方法無法同時做到這兩點(diǎn)，要么只能保留衣服細(xì)節(jié)，但無法處理姿勢和形狀的變化，要么就是可以換姿勢，但服裝細(xì)節(jié)會缺失。

而TryOnDiffusion因為統(tǒng)一了兩個UNet，就能夠在單個網(wǎng)絡(luò)中保留衣服細(xì)節(jié)，并且對衣服進(jìn)行重要的姿勢和身體變化。

可以看到，衣服在人物上的變形極其自然，并且衣服的細(xì)節(jié)也還原得非常到位。

話不多說，讓我們直接看看，谷歌的這個「AI試穿」到底有多厲害！

用AI生成試穿圖像

具體來說，Virtual Try-On（VTO）可以向顧客展示衣服在不同體型和尺寸的真實模特身上的效果。

虛擬服裝試穿中，有許多微妙但對于來說至關(guān)重要的細(xì)節(jié)，比如衣服的垂墜、折疊、緊貼、伸展和起皺的效果。

此前已有的技術(shù)，比如geometric warping（幾何變形），可以對服裝圖像進(jìn)行剪切和粘貼，然后對其進(jìn)行變形以適配身體的輪廓。

但這些功能，很難讓衣服妥帖地適應(yīng)身體，并且會存在一些視覺缺陷，比如錯位的褶皺，會讓衣服看起來畸形和不自然。

因此，谷歌的研究者致力于從頭開始生成服裝的每個像素，以生成高質(zhì)量、逼真的圖像。

他們采用的技術(shù)是一種全新的基于Diffusion的AI模型，TryOnDiffusion。

擴(kuò)散是逐漸向圖像添加額外像素（或「噪聲」），直到它變得無法識別，然后完全消除噪聲，直到原始圖像以完美的質(zhì)量重建。

像Imagen這樣的文本到圖像模型，就是使用的來自大語言模型LLM的擴(kuò)散加文本，可以僅根據(jù)輸入的文本，就能生成逼真的圖像。

Diffusion是逐漸向圖像添加額外像素（或「噪聲」），直到它變得無法識別，然后再完全消除噪聲，直到原始圖像以完美的質(zhì)量重建。

在TryOnDiffusion中，不需要使用文字，而是使用一組成對的圖片：一張圖片是衣服（或者穿著衣服的模特），一張圖片是模特。

每張圖片都會被發(fā)送到自己的神經(jīng)網(wǎng)絡(luò)（U-net），并通過被稱為「交叉注意力」的過程來相互共享信息，輸出新的穿著這件衣服的模特的逼真圖像。

這種基于圖像的Diffusion和交叉注意力的結(jié)合技術(shù)，構(gòu)成了這個AI模型的核心。

VOT功能讓用戶可以在符合自己身材的模特身上渲染展示上衣效果。

海量高質(zhì)量數(shù)據(jù)訓(xùn)練

谷歌為了使VTO功能盡可能提供真實的效果并且真的能幫助用戶挑選衣服，對這個 AI 模型進(jìn)行了大量的訓(xùn)練。

但是，谷歌沒有使用大語言模型來訓(xùn)練它，而是利用了谷歌的購物圖。

這個數(shù)據(jù)集擁有全世界最全面，同時也是最新的產(chǎn)品、賣家、品牌、評論和庫存數(shù)據(jù)。

谷歌使用了多對圖像訓(xùn)練模型，每對圖像由兩種不同姿勢的穿著衣服的模特圖組成。

比如，一個穿著襯衫的人側(cè)身站立的圖像和另一個向前站立的圖像。

谷歌專門的擴(kuò)散模型將圖像輸入到他們自己的神經(jīng)網(wǎng)絡(luò)（U-net）來生成輸出：穿著這件衣服的模特的逼真圖像。

在這對訓(xùn)練圖像中，模型學(xué)習(xí)將側(cè)身姿勢的襯衫形狀與面朝前姿勢的圖相匹配。

反過來也一樣，直到它可以從各個角度生成該人穿著襯衫的逼真圖像。

為了追求更好的效果，谷歌使用數(shù)百萬不同服裝和人物的隨機(jī)圖像對多次重復(fù)了這個過程。

結(jié)果就是我們在文章開頭的圖片呈現(xiàn)出來的效果。

總之，TryOnDiffusion既保留了衣服的細(xì)節(jié)效果，也適配了新模特的身材和姿勢，谷歌的技術(shù)做到了二者兼得，效果相當(dāng)逼真。

技術(shù)細(xì)節(jié)

在一張展示一個模特的身體的圖片，另一張展示另一個穿著某件衣服的模特的圖片的條件下，TryOnDiffusion的目標(biāo)是生成一個展示這件服裝在這個人身上可能會呈現(xiàn)的具體的視覺效果。

解決這個問題最關(guān)鍵的難點(diǎn)在于，保持服裝細(xì)節(jié)逼真的同時，將服裝進(jìn)行適當(dāng)?shù)淖冃我赃m應(yīng)不同模特之間的姿勢和體型的變化。

先前的方法要么著重于保留服裝細(xì)節(jié)，但無法有效處理姿勢和形狀的變化。

要么允許根據(jù)期望的體型和姿勢呈現(xiàn)出了試穿效果，但缺乏服裝的細(xì)節(jié)。

谷歌提出了一種基于Diffusion的架構(gòu)，將兩個UNet（稱為Parallel-UNet）合二為一，谷歌能夠在單個網(wǎng)絡(luò)中保留服裝細(xì)節(jié)并對服裝的試穿效果進(jìn)行明顯的姿勢和身體變化。

Parallel-UNet的關(guān)鍵思想包括：

1）通過交叉注意機(jī)制隱式地為服裝制作褶皺；

2）服裝的褶皺和人物的融合作為一個統(tǒng)一的過程，而不是兩個獨(dú)立任務(wù)的序列。

實驗結(jié)果表明，TryOnDiffusion在定性和定量上均達(dá)到了最先進(jìn)的性能水平。

具體的實現(xiàn)方式如下圖所示。

在預(yù)處理步驟中，目標(biāo)人物從人物圖像中被分割出來，創(chuàng)建「無服裝 RGB」圖像，目標(biāo)服裝從服裝圖像中分割出來，并為人物和服裝圖像計算姿勢。

這些信息輸入被帶入128×128 Parallel-UNet（關(guān)鍵步驟）以創(chuàng)建128x128的試穿圖像，該圖像與試穿條件的輸入一起作為輸入進(jìn)一步發(fā)送到256×256 Parallel-UNet中。

再把256×256 Parallel-UNet的輸出內(nèi)容被發(fā)送到標(biāo)準(zhǔn)超分辨率擴(kuò)散（super resolution diffusion）來創(chuàng)建1024×1024的圖像。

而在上面整個流程中最為重要的128×128 Parallel-UNet的構(gòu)架和處理過程，如下圖所示。

將與服裝無關(guān)的RGB和噪聲圖像輸入頂部的person-UNet中。

由于兩個輸入內(nèi)容都是按像素對齊的，在 UNet 處理開始時直接沿著通道維度（channel demension）將兩個圖像連接起來。

由于兩個輸入都是按像素對齊的，我們在 UNet 處理開始時直接沿著通道維度將它們連接起來。

將分割后的服裝圖像輸入位于底部的garment-UNet。

服裝的特征通過交叉注意（cross attention）融合到目標(biāo)圖像之中。

為了保存模型參數(shù)，谷歌研究人員在32×32上采樣（Upsampling）之后提前停止了garment-UNet，此時person-UNet中的最終交叉注意力模塊（final cross attention module）已經(jīng)完成。

人和衣服的姿勢首先被送入線性層以分別計算姿勢嵌入。

然后通過注意力機(jī)制將姿勢嵌入融合到person-UNet中。

此外，它們被用在使用FiLM在所有規(guī)模上調(diào)制兩個UNet的特征。

與主流技術(shù)的對比

用戶調(diào)查研究:對于每組輸入的圖片，15個普通用戶選從4個備選技術(shù)中選擇一個他們認(rèn)為最好的，或者選擇「無法區(qū)分」。TryOnDiffusion的表現(xiàn)明顯超過了其他技術(shù)。

下圖從左到右依次是「輸入，TryOnGAN，SDAFN，HR-VITON，谷歌的方法」。

局限性

不過TryOnDiffusion存在一些局限性。

首先，在預(yù)處理過程中，如果分割圖和姿勢估計存在錯誤，谷歌的方法可能會出現(xiàn)服裝泄漏的瑕疵。

幸運(yùn)的是，近年來這方面的準(zhǔn)確性已經(jīng)大大提高，這種情況并不經(jīng)常發(fā)生。

其次，不包括關(guān)服裝的RGB來顯示身體的效果并不理想，因為有時它可能只能保留身份的一部分。

例如紋身在這種情況下會不可見，某些的肌肉結(jié)構(gòu)也會不可見。

第三，我們的訓(xùn)練和測試數(shù)據(jù)集通常都會具有干凈統(tǒng)一的背景，因此無法確定該方法在更復(fù)雜的背景下的表現(xiàn)如何。

第四，我們不能保證服裝在模特身上是否真的合身，只關(guān)注試穿的視覺效果。

最后，本研究側(cè)重于上半身的服裝，谷歌還沒有對全身試穿效果進(jìn)行實驗，未來會進(jìn)一步對全身效果進(jìn)行研究。