一鍵「三維化」你的二維GAN，港中文提出無監(jiān)督三維重建新方法
港中文 MMLab 團(tuán)隊(duì)的這項(xiàng)研究證實(shí)了二維 GAN 可以隱式地學(xué)得物體的三維結(jié)構(gòu)。研究者提出的方法可以看作一種新的三維形狀生成方法。他們提出了一種新的無監(jiān)督三維重建方法「Shape-from-GAN」，不依賴傳統(tǒng)方法的對稱性假設(shè)，并首次在開放式的建筑等數(shù)據(jù)集上實(shí)現(xiàn)三維重建。該研究已被接收為 ICLR 2021 Oral 論文。
如今，StyleGAN 等對抗生成網(wǎng)絡(luò)已經(jīng)能夠?qū)Χ喾N物體生成逼真的二維圖片。然而或許你不知道，這些 GAN 其實(shí)知道所生成物體的三維形狀。對二維 GAN 生成的圖像，我們已經(jīng)可以準(zhǔn)確重建其三維結(jié)構(gòu)，并實(shí)現(xiàn)旋轉(zhuǎn)和重光照等圖像編輯效果，如下圖所示：
這就是來自香港中文大學(xué)、南洋理工大學(xué)和香港大學(xué)的研究者提出的用二維 GAN 實(shí)現(xiàn)無監(jiān)督三維重建的方法 GAN2Shape。這種「Shape-from-GAN」的范式不需要依賴傳統(tǒng)方法的對稱性假設(shè)，適用于多種物體類別，并超越以往方法達(dá)到了 SOTA。目前，該論文已被 ICLR 2021 接收為 Oral 論文。論文代碼也已經(jīng)開源。
論文鏈接：
https://openreview.net/pdf?id=FGqiDsBUKL0
項(xiàng)目鏈接：
https://github.com/XingangPan/GAN2Shape
研究動機(jī)
近年來，生成對抗網(wǎng)絡(luò)（GAN）在圖像生成任務(wù)上取得了巨大的成功。而當(dāng)我們熱衷于用它創(chuàng)造二維圖像世界時，一個事實(shí)是這些二維圖片其實(shí)是三維物體在二維圖像平面的投影。
例如，下圖展示了 StyleGAN[1] 可以實(shí)現(xiàn)人臉的視角變化（在有人臉視角標(biāo)注的監(jiān)督下）。因此，當(dāng)我們在 GAN 的圖像空間穿梭時，理想情況下這些圖像應(yīng)當(dāng)符合物體本身的三維結(jié)構(gòu)。
StyleGAN 可以實(shí)現(xiàn)人臉的視角變化
因此，一個有趣的問題是，我們能否通過挖掘二維 GAN 中的幾何信息（視角與光照）來重建物體的三維形狀？
方法：挖掘并利用 GAN 圖像空間中的視角與光照信息
挖掘 GAN 中的幾何信息并非易事，已有的方法難以對任意物體類別的 GAN 找到視角與光照變量在隱空間中對應(yīng)的準(zhǔn)確方向。為了解決此問題，研究者注意到大多數(shù)物體（如人臉、汽車等）具有較「凸」的三維形狀。
因此，他們用橢球作為物體的形狀先驗(yàn)。雖然此先驗(yàn)較弱，卻能一定程度上反映出物體的視角與光照變化，從而可以用來引導(dǎo)在 GAN 圖像空間中探索不同的視角與光照。
GAN2Shape 方法總覽
基于這種思想，研究者設(shè)計了一種迭代式挖掘并利用 GAN 圖像空間中視角與光照信息的策略，具體步驟如下：
第一步，用初始化的形狀（即橢球）和可微渲染器渲染很多不同視角與光照條件下的「偽樣本」（pseudo samples）；
第二步，用預(yù)訓(xùn)練的 GAN 對偽樣本進(jìn)行重建，得到其在 GAN 圖像空間的投影，即「投影樣本」（projected samples）。這些投影樣本會繼承與偽樣本類似的視角與光照，同時 GAN 的生成特性會將投影樣本約束在真實(shí)圖像空間中，從而消除偽樣本中不真實(shí)的畸變與光影；
第三步，將投影樣本作為可微渲染步驟的 ground truth，從而優(yōu)化物體三維形狀。由于投影樣本中包含了 GAN 學(xué)得的物體三維信息，因此物體形狀會更加準(zhǔn)確，如上圖中的人臉。
以上步驟結(jié)束后，我們可以用優(yōu)化后的形狀作為初始形狀再重復(fù)以上步驟，迭代多次，從而逐步改善形狀直至收斂。
值得一提的是，在上述第二步用 GAN 重建偽樣本時，為了保證重建結(jié)果的真實(shí)性，研究者提出了一種用 StyleGAN2 的部分 mapping 網(wǎng)絡(luò)對隱向量進(jìn)行約束的方法，更多細(xì)節(jié)可參閱論文原文。
實(shí)驗(yàn)：二維 GAN 圖像皆可三維化
研究者將 GAN2Shape 分別應(yīng)用于在人臉、貓臉、車以及建筑上訓(xùn)練的 StyleGAN2 [1]，結(jié)果均可重建出合理的三維形狀，如下圖所示：
下圖為 GAN2Shape 在建筑上的三維重建和重光照結(jié)果，以及與 Unsup3d [2] 的對比：
此外，該研究的定量結(jié)果同樣顯著超越了其它方法，并且在不使用傳統(tǒng)方法人臉對稱性假設(shè)的情況下仍然得到合理的三維重建結(jié)果。
由于該方法得到了物體三維形狀和視角光照變化在 GAN 隱空間中的方向，因此可以對圖像進(jìn)行三維編輯，如下圖所示：
三維圖像編輯結(jié)果，包括物體旋轉(zhuǎn)與重光照。
相較其他無監(jiān)督用 GAN 實(shí)現(xiàn)人臉旋轉(zhuǎn)的方法，研究者的方法更好地保存了人臉的 identity：
無監(jiān)督人臉旋轉(zhuǎn)方法對比。
更多三維重建與編輯結(jié)果如下圖所示：
