Chirpy3D框架可以將細粒度的2D圖像理解提升至3D生成的全新境界。當(dāng)前的3D生成方法往往只關(guān)注于重構(gòu)簡單的對象，缺乏細致的特征和創(chuàng)造性。Chirpy3D通過結(jié)合多視角擴散模型和連續(xù)的部件潛在空間，能夠生成全新且合理的3D鳥類模型。該系統(tǒng)不僅能夠保持細致的物種特征，還能通過插值和采樣生成全新的部件。通過自監(jiān)督特征一致性損失，Chirpy3D確保了未見部件的穩(wěn)定生成，展現(xiàn)了其在細粒度3D生成領(lǐng)域的創(chuàng)新能力。

生成的由不同部分組成的活潑的 3D 鳥類。Chirpy3D 從原始 2D 圖像中學(xué)習(xí)部分潛在空間，并且可以通過探索部分潛在空間生成高質(zhì)量的創(chuàng)意 3D 鳥類。（頂部）現(xiàn)有物種，（底部）新物種

相關(guān)鏈接

• 論文：http://arxiv.org/abs/2501.04144v1
• 主頁：https://github.com/kamwoh/chirpy3d

論文介紹

論文將細粒度 3D 生成的邊界推向了真正具有創(chuàng)造性的領(lǐng)域。當(dāng)前的方法要么缺乏復(fù)雜的細節(jié)，要么只是模仿現(xiàn)有對象——我們同時實現(xiàn)了這兩種方法。通過多視圖擴散將 2D 細粒度理解提升到 3D，并將部分潛在建模為連續(xù)分布，我們解鎖了通過插值和采樣生成全新但合理部分的能力。自監(jiān)督特征一致性損失進一步確保了這些看不見的部分的穩(wěn)定生成。結(jié)果是第一個能夠創(chuàng)建具有超越現(xiàn)有示例的物種特定細節(jié)的新型 3D 對象的系統(tǒng)。雖然我們在鳥類身上展示了我們的方法，但底層框架超越了會鳴叫的事物！

方法

Chirpy3D 的整體架構(gòu)。（頂部）在訓(xùn)練期間，我們僅使用鳥類的 2D 圖像對文本到多視圖擴散模型（例如 MVDream）進行微調(diào)。我們的目標是通過建模連續(xù)的部分感知潛在空間來學(xué)習(xí)底層的部分信息。這是通過學(xué)習(xí)一組物種嵌入 e，通過可學(xué)習(xí)的 f 將它們投射到部分潛在 l 中，通過可學(xué)習(xí)的 g 解碼為詞嵌入 t 并插入文本提示來實現(xiàn)的。我們訓(xùn)練具有擴散損失（等式 5）和多個損失目標的擴散模型 - Lreg（等式 2）將部分潛在建模為高斯分布，Lattn（等式 6）用于部分解纏，以及我們提出的 Lcl（等式 4）以增強視覺連貫性。f 和 g 是可訓(xùn)練模塊。為了提高訓(xùn)練效率，我們在 U-Net 的交叉注意層中添加了 LoRA 層。 （底部）在推理過程中，我們可以首先通過選擇所需的部分潛在特征作為條件來預(yù)覽多視圖圖像，然后通過 SDS 損失 LSDS 將它們轉(zhuǎn)換為 3D 表示（例如 NeRF）。

結(jié)果

兩個不同物種（藍松鴉和白鵜鶘）的主題生成。

部分組成的視覺比較。A、B、C、D、E、F 分別代表紅雀、威爾遜鶯、最小海雀、加州鷗、角百靈和歌帶鹀。紅色圓圈表示已更改的部分。所有部分（包括源和目標）均由同一種子生成。

藍松鴉和紅雀兩種不同物種之間所有部分潛伏值的線性插值。僅顯示一個視圖。我們的 Chirpy3D 實現(xiàn)了更平滑的插值，而不像 PartCraft 在某個步驟后表現(xiàn)出突然切換現(xiàn)象（紅色框）

結(jié)論

Chirpy3D是一個細粒度 3D 生成框架，它通過多視圖擴散將 2D 理解提升到 3D，將部分潛在信息建模為連續(xù)的。所有圖像都是用相同的相機姿勢生成的但在看不見的潛在信息上使用不同的種子。

連續(xù)分布并規(guī)范特征一致性以穩(wěn)定看不見部分的生成。這種方法可以創(chuàng)建具有前所未有的細粒度細節(jié)和創(chuàng)作自由的新型 3D 對象。雖然該方法是在鳥類身上進行演示，但這種方法也可以應(yīng)用于其他物體。