浙大、螞蟻集團推出MaPa：文本生成超真實3D模型
浙江大學、螞蟻集團、深圳大學聯合推出了創(chuàng)新模型MaPa。
與傳統(tǒng)紋理方法不同的是，MaPa通過文本能直接生成高分辨率、物理光照、超真實材質的3D模型，可以極大提升游戲、VR、AR、影視等行業(yè)的開發(fā)效率。
研究人員在多個知名平臺對MaPa進行了綜合測試。結果顯示，在無參考圖像的情況下MaPa生成的模型材質、分辨率、局部細節(jié)，比TEXTure、Text2tex、Fantasia3D等模型的效果更好。
論文地址：https://arxiv.org/abs/2404.17569
MaPa功能展示
分段圖像生成
?
為了更好地還原用戶的文本提示和提升模型質量，MaPa在生成的過程中會將3D網格細分為多個細小的分段。該過程有點類似將一幅畫作分解成多個小碎塊，這樣每塊的細節(jié)都能夠獨立處理，以便于后續(xù)上色和材質的精細調整。
然后，MaPa會將這些3D分段投影到2D空間中生成2D圖像。為了獲得最佳的2D分割圖像，MaPa需要選擇一個合適的視角。
通過均勻采樣一系列視角，并選擇能夠產生最多2D分段的視角作為起始視角，以確保生成的2D圖像能夠盡可能多地捕捉到3D分段的細節(jié)。
在2D圖像生成中，MaPa使用了ControlNet，這是一個預訓練的2D擴散模型，能夠根據給定的條件生成相應的2D圖像。研究人員對ControlNet進行了微調，使其能夠適應特定的分段條件，從而生成與3D分段更加對齊的2D圖像。
3D材質分組
?
通常在3D模型的材質生成過程中有一個難題，就是該如何將不同的材質部分有效地組織和管理。而MaPa通過使用“材質分組”模塊，來自動智能識別和分組相似材質的3D分段，從而提升渲染的質量，同時又減少了后續(xù)的優(yōu)化流程。
MaPa使用了GPT-4v模型進行材質分類。GPT-4v不僅識別準確率高，對于用戶的文本語義理解能力也很強，可以精準提煉出文本中的特殊材質。
此外，材質分組還內置了一個材質顏色相似性分析模塊，通過反射率估計網絡來評估不同分段的顏色，并在CIE顏色空間中進行比較。
如果兩個分段的材質顏色足夠接近，就會被歸為同一組進一步提升材質的一致性。
材質圖優(yōu)化
?
對材質分好組之后，MaPa會從一個預建的材質圖庫中檢索最相似的材質圖作為初始值，再通過可微渲染模塊對材質圖的參數進行優(yōu)化,使得渲染圖像盡可能接近生成的3D模型。
在渲染的過程中MaPa使用了DiffMat v2框架，能夠將材質圖轉換為紋理空間映射，例如，反照率圖、法線圖和粗糙度圖等，使得選定的材質圖參數使其更貼近生成的3D模型。
材質圖優(yōu)化模塊還包括一個可微分渲染器，能夠根據材質圖渲染出2D圖像，并與生成的3D模型進行比較，通過最小化兩者之間的差異來優(yōu)化材質圖參數。這種方法不僅提高了材質的真實感，還保持了渲染的效率。
由于3D模型的架構比較復雜，一次難以生成精準生成。所以，MaPa使用了連續(xù)迭代的方法，可以為模型的每個部分生成一致且真實的材質，即便是那些非常復雜的3D模型架構也沒問題。
本文轉自 AIGC開放社區(qū) ，作者：AIGC開放社區(qū)
