本文經(jīng)自動駕駛之心公眾號授權(quán)轉(zhuǎn)載，轉(zhuǎn)載請聯(lián)系出處。

助力重建非漫反射物體

盡管開創(chuàng)性的NeRF方法在各自領(lǐng)域達到了頂級性能，但根據(jù)觀察對象的材料特性，它們可能會產(chǎn)生不滿意的結(jié)果。例如，在處理金屬兔模型時會產(chǎn)生幾何失真、在重建具有鏡面表面的烤面包機時會產(chǎn)生偽影等。

現(xiàn)有的3D重建算法在具有漫反射表面的物體上幾乎可以達到完美的結(jié)果，但存在金屬、玻璃等具有復(fù)雜光學(xué)特性的物體時，它們卻持續(xù)失敗。這是因為這些物體上的光折射、傳輸和鏡面反射的復(fù)雜性導(dǎo)致了多視圖間的顏色不一致，從而違反了現(xiàn)有方法的基本假設(shè)。

在為非漫反射物體開發(fā)3D重建方法的過程中，一個關(guān)鍵障礙是缺乏覆蓋廣泛復(fù)雜材料和物體形狀的標(biāo)準(zhǔn)化數(shù)據(jù)集。

為了應(yīng)對獲得具有真實3D形狀的大規(guī)模多樣集合的挑戰(zhàn)，全面的數(shù)據(jù)集OpenMaterial應(yīng)運而生，具有多種具有挑戰(zhàn)性的材料、多樣的形狀和光照條件。利用基于物理的渲染生成了具有卓越逼真度的密集多視圖圖像。OpenMaterial包含295種不同類型的材料，涵蓋七個類別，包括導(dǎo)體、介電體和塑料。其中包括294種具有實驗室測量折射率（IOR）值的真實材料，以及一種理想化的漫反射材料。數(shù)據(jù)集還包括1001種獨特的幾何形狀，以確保形狀的多樣性，并具有723種不同的環(huán)境光照條件，復(fù)制了廣泛的室內(nèi)和室外場景。

OpenMaterial是首個專門設(shè)計用于定量評估針對具有復(fù)雜材料的物體的3D重建方法的數(shù)據(jù)集，其鏈接為：https://christy61.github.io/openmaterial.github.io/

數(shù)據(jù)集組成

OpenMaterial的目標(biāo)是使現(xiàn)有3D重建算法能夠在各種材料、形狀和光照條件下進行全面評估。涵蓋了七種材料類型：漫反射、導(dǎo)體、介電體、塑料、粗糙導(dǎo)體、粗糙介電體和粗糙塑料，總共295種不同類型。它包含1001個場景，每個場景都有一個獨特的形狀和一個隨機選擇的材料。光照條件也是從723種可用的高動態(tài)范圍成像（HDRI）環(huán)境光照選項中隨機選擇的。為了創(chuàng)建一個平衡的數(shù)據(jù)集，每個七種材料類別都在143個場景中表示。除了來自多個相機位置的多視角圖像外，數(shù)據(jù)集還包括3D網(wǎng)格模型、材料注釋、相機位置、深度圖和物體掩碼，提供了豐富的數(shù)據(jù)集用于深入分析和測試。

基于物理的渲染

在現(xiàn)實世界中，每種材料與光的相互作用方式各不相同，在圖像中呈現(xiàn)出特定的外觀和挑戰(zhàn)。雙向散射分布函數(shù)（BSDF）在渲染過程中起著至關(guān)重要的作用，它以詳細且物理準(zhǔn)確的水平定義了光與表面的相互作用。BSDF既包含了雙向反射分布函數(shù)（BRDF）描述的光在表面上的反射方式，也包含了雙向透射分布函數(shù)（BTDF）描述的光在材料中的傳輸方式。這種雙重能力使得能夠準(zhǔn)確模擬復(fù)雜的光學(xué)特性，如鏡面反射、光澤和透射。一旦為一種材料建立了BSDF，渲染引擎就可以計算光在表面不同點的反射和傳輸?shù)念伾蛷姸?。最終圖像中每個像素的RGB值通過整合來自所有入射方向的光，并考慮BSDF定義的材料特性，以逼真地捕捉材料在不同光照條件下的外觀。

形式上，給定物體表面某點的法線方向ω、入射光方向ω以及出射光方向（反射光方向為ω，折射光方向為ω），物體表面材料的BSDF  可以表示為BRDF  和BTDF  之和，即：

微表面反射和折射的BRDF和BTDF[2] 定義如下：

其中，ω 表示ω 和ω 之間的中間向量。對于BRDF，ωωωωω；對于BTDF，ω 的定義不同，ωηωηω。對于理想反射和理想折射，ω 與法線方向ω 相同。 由菲涅耳方程（Fresnel's equation）確定， 是陰影遮蔽函數(shù)，這里我們定義為Smith的陰影遮蔽函數(shù)， 是微面法線分布函數(shù)。最后，η 和η 分別代表初始介質(zhì)和透射介質(zhì)的折射率，其中一個在我們的設(shè)置中為空氣。

為了捕捉現(xiàn)實世界材料的特性，我們的模擬采用了實驗室測量的折射率（IOR）。出射光的角度（斯涅爾定律）和強度（菲涅耳方程）均基于IOR進行精確計算。通過將這些公認(rèn)的物理定律與現(xiàn)實世界測量的IOR相結(jié)合，我們?yōu)槲覀兊臄?shù)據(jù)集建立了堅實的基礎(chǔ)，確保高度準(zhǔn)確和逼真的模擬效果。

斯涅爾定律

設(shè)θ、θ、θ分別表示ω和ω之間的角度、ω和ω之間的角度以及ω和ω之間的角度。對于鏡面反射，直接有θθ。相比之下，對于透明材料中的傳輸光，角度θ可以通過斯涅爾定律使用IOR計算，如下所示：

菲涅耳方程

一旦確定了出射光的角度，可以使用菲涅耳方程確定在兩種介質(zhì)界面上反射和傳輸?shù)木_光量。對于反射光量，菲涅耳方程表示為：

傳輸光的數(shù)量，如通過介電材料的光，可以計算為 ，反映了能量守恒原理。對于導(dǎo)體，復(fù)雜的IOR包含一個虛部，用于計算光的吸收，具體細節(jié)可以在附錄中找到。

材料類型

導(dǎo)體具有自由電子，可以在材料內(nèi)部自由移動。受到光照時，這些自由電子吸收并重新輻射電磁波，導(dǎo)致大部分入射光被反射，如圖1所示。這種高反射率是金屬通常表現(xiàn)出光亮反射表面的原因，如圖2所示。任何穿透表面的光在前0.1微米內(nèi)被吸收，迅速轉(zhuǎn)化為熱量，使金屬變得不透明。由于傳輸光快速被吸收并轉(zhuǎn)化為熱量，我們在渲染過程中選擇僅使用BRDF來模擬反射組件，從而簡化導(dǎo)體表面的模擬。

介電體如玻璃和純水缺乏自由電子，這對于電導(dǎo)率是必需的；因此，與導(dǎo)體不同，光能夠穿過這些材料而不被吸收，如圖1所示。這一特性賦予它們顯著的透射特性和透明外觀，如圖2所示。光與介電材料的相互作用受其透明度和內(nèi)部結(jié)構(gòu)的影響，可能導(dǎo)致傳輸或反射。我們在模擬中使用BRDF來模擬反射，使用BTDF來模擬傳輸。

塑料由有機化合物衍生的聚合物屬于介電體的一個子類，表現(xiàn)出類似的反射和折射特性。它們獨特的分子結(jié)構(gòu)，加上內(nèi)部顏料的加入，促進了漫反射，如圖1所示，導(dǎo)致表面顯示出光亮的鏡面反射和柔和的外觀，如圖2所示。這些顏料選擇性地吸收和傳輸各種光波長，創(chuàng)造出豐富的顏色光譜。在模擬中，塑料被建模為具有反射和折射外層與漫反射內(nèi)層相結(jié)合，以提供其光相互作用的細致且物理準(zhǔn)確的描述。我們分別使用BRDF和BTDF來模擬反射和傳輸。

漫反射材料在模擬中通常被理想化，以突出其均勻散射接收到的光照的特性，使表面在任何觀看方向上看起來一致。為了準(zhǔn)確地模擬這些材料，我們?yōu)锽RDF分配了一個固定的反射率參數(shù)。為了增強在不同背景下的可見性，每種顏色被分配一個隨機的灰度值，范圍從0.15到0.85，確保材料在背景中顯著突出。

微表面模型。鑒于BSDF，我們利用微表面模型來真實地模擬影響光散射的微觀表面細節(jié)。具體來說，我們通過選擇適當(dāng)?shù)奈⒈砻娣植紒磉m應(yīng)光滑和粗糙的表面。對于導(dǎo)體、介電體和光滑表面的塑料，我們采用狄拉克δ分布ωδωω，該分布僅在表面法線方向ω處非零。這種選擇確保了銳利和精確的反射和折射，如圖2所示，有效地模擬了拋光金屬、玻璃和塑料的真實外觀。

對于具有粗糙表面的材料，包括粗糙導(dǎo)體、介電體和塑料，我們選擇Trowbridge-Reitz（GGX）分布來模擬光滑的鏡面反射和漫射折射。該分布的特點是其受粗糙度參數(shù)α影響的厚尾，更準(zhǔn)確地模擬了這些粗糙表面的復(fù)雜光散射，增強了渲染材料的物理真實性和逼真度，如圖2所示。

實驗室測量的折射率（IOR）

為了確保圖像在物理上準(zhǔn)確地模擬現(xiàn)實世界的材料，從光學(xué)科學(xué)文獻中記錄的實驗室測量中得出IOR值。因此模擬會根據(jù)不同波長的IOR變化調(diào)整材料的特性。

對于導(dǎo)體，IOR在不同的光波長下有所變化。例如，金在較短波長（接近藍光）下吸收更多光，在較長波長（紅光譜）下反射更多光，因此在圖像中最終呈現(xiàn)出金黃色。因此，在可見光譜范圍內(nèi)（380 nm到780 nm）每5 nm采樣一次光譜數(shù)據(jù)。這使我們能夠通過捕捉其在不同波長下獨特的光吸收來準(zhǔn)確模擬其特征外觀。相比之下，對于介電體和塑料，IOR隨波長變化的幅度很小，采用589.29 nm的代表性折射率。這種簡化提高了渲染效率，同時不犧牲最終輸出的準(zhǔn)確性，確保材料能夠以高保真度且高效地表現(xiàn)出來。

形狀和網(wǎng)格

數(shù)據(jù)集包含從Objaverse-1數(shù)據(jù)集中精心挑選的1001個獨特形狀[3]。為了確保形狀的多樣性和復(fù)雜性，選擇了從簡單物體（如吉他）到復(fù)雜物體（如由各種人類姿態(tài)和復(fù)雜面部表情組成的噴泉雕像）等各種形狀。圖3展示了一些例子。這些形狀隨后被隨機分配到七種材料類別中。

場景照明和相機

為了獲得高多樣性的光照條件，使用了723種HDRI（高動態(tài)范圍成像）環(huán)境圖，涵蓋了室內(nèi)和室外場景。這些HDRI圖像精確捕捉了現(xiàn)實環(huán)境中的全光譜光強度。這不僅增加了渲染圖像的逼真度，還能在物體上展示復(fù)雜多變的反射和折射模式，如圖4所示。這些HDRI圖提供的廣泛光照場景對于全面評估算法在處理多樣和具有挑戰(zhàn)性的光照條件下的效果至關(guān)重要。

為了消除尺度偏差，將對象大小標(biāo)準(zhǔn)化到單位球體內(nèi)。使用斐波那契網(wǎng)格在上半球上采樣相機位置，確保均勻分布和不重疊覆蓋。然后將這些相機位置分為不同的訓(xùn)練（50）和測試（40）視點。所有高分辨率圖像（1600x1200像素）都使用Mitsuba渲染，并存儲在標(biāo)準(zhǔn)Blender格式中，并支持轉(zhuǎn)換為COLMAP格式，方便研究社區(qū)的使用。

基線實驗

總結(jié)一下

OpenMaterial是首個旨在定量評估復(fù)雜材料對象3D重建方法的大規(guī)模數(shù)據(jù)集，具有豐富的形狀、材料類型和光照條件。數(shù)據(jù)集不僅支持全面的評估，還有助于分析現(xiàn)有算法處理挑戰(zhàn)性材料的能力。

主要局限：數(shù)據(jù)集的擴展。盡管從理論上講，可以通過整合現(xiàn)有開源數(shù)據(jù)集中的模型來增加形狀的多樣性，但許多模型的質(zhì)量達不到現(xiàn)實世界的標(biāo)準(zhǔn)。這需要手動選擇以確保真實感，如果對大數(shù)據(jù)量的需求增加，這一過程可能成為瓶頸。