AR/VR 、電影和醫(yī)療等領(lǐng)域都在廣泛地應(yīng)用視頻渲染人類形象。由于單目攝像頭的視頻獲取較為容易，因此從單目攝像頭中渲染人體一直是研究的主要方式。Vid2Avatar、MonoHuman  和 NeuMan  等方法都取得了令人矚目的成績。盡管只有一個攝像頭視角，這些方法仍能從新的視角準確地渲染人體。

不過，大多數(shù)現(xiàn)有的方法在渲染人體時都是針對較為理想的實驗場景進行設(shè)計的。在這些場景中，障礙物幾乎不存在，人的各個身體部分在每一幀中也都能全部展示出來?？蛇@與現(xiàn)實場景大為不同。現(xiàn)實場景中常有多個障礙物，人體也會在移動過程中被障礙物遮擋。

大多數(shù)的神經(jīng)渲染方法在處理現(xiàn)實世界的場景時都會因為遮擋而困難重重，其中一大原因就是缺乏監(jiān)督。實際場景往往無法提供有關(guān)人體外觀、形狀和姿態(tài)的真實監(jiān)督數(shù)據(jù)，因此模型需要根據(jù)現(xiàn)有的少量證據(jù)來推斷其他信息，而這十分具有挑戰(zhàn)性，尤其是大部分人體被遮擋的情況。

由于許多神經(jīng)方法采用的基于點的渲染方案，當一個被遮擋和一個未被遮擋時，兩個非常接近的坐標會在渲染輸出上產(chǎn)生巨大差異。因此，那些未適應(yīng)被遮擋場景的方法在遇到遮擋時經(jīng)常會顯示出不完整的人體，或者渲染出漂浮物和其他視覺上的錯誤。

最近，著名人工智能教授李飛飛在 X 上發(fā)布了有關(guān) 3D 人體渲染工作的新進展 —— 一種名為 Wild2Avatar 的新模型，該模型即使在有遮擋的情況下仍然能夠完整、高保真地渲染人體。

Wild2Avatar 是一種適用于有遮擋的野外單目視頻的神經(jīng)渲染方法。研究團隊提出了遮擋感知場景參數(shù)化，將場景解耦為三個部分 —— 遮擋、人體和背景，分別渲染這三個部分，并設(shè)計了新穎的優(yōu)化目標。

• 論文地址：https://arxiv.org/pdf/2401.00431.pdf
• 項目地址：https://cs.stanford.edu/~xtiange/projects/wild2avatar/

方法介紹

Wild2Avatar 可以為帶有遮擋的野外單目視頻渲染具有完整幾何形狀和高保真外觀的 3D 人體。Wild2Avatar 模型的整體架構(gòu)如下圖 2 所示：

具體來說，Wild2Avatar 將遮擋物、人體和背景建模為三個獨立的神經(jīng)場，無論遮擋物如何，都能對人體進行清晰的三維重建。為此，該研究采用場景自分解技術(shù)，在倒球參數(shù)化（inverted sphere parametrization）的基礎(chǔ)上，提出了遮擋感知場景參數(shù)化。

除了倒球參數(shù)化定義的第一個球外，該研究還引入了第二個內(nèi)球，并將從攝像機到內(nèi)球邊緣的區(qū)域定義為遮擋區(qū)域。通過單獨渲染這一區(qū)域，Wild2Avatar 成功將遮擋與場景的其他部分分離開來。

此外，為了確保高保真和完整地渲染人體，該研究提出通過像素光度損失、場景分解損失、遮擋解耦損失和幾何完整性損失的組合來匯總?cè)N渲染。

實驗及結(jié)果

數(shù)據(jù)集

OcMotion：該數(shù)據(jù)集由人體與各種物體接觸的室內(nèi)場景組成，同時被這些物體部分遮擋。研究者從該數(shù)據(jù)集的 48 個視頻中選用了 5 個，它們展示了不同程度的遮擋。他們從每個視頻中只抽取了 100 幀來訓(xùn)練模型，并使用數(shù)據(jù)集提供的相機矩陣、人體姿態(tài)和 SMPL 參數(shù)來初始化優(yōu)化過程。幀內(nèi)的二進制人體分割掩碼是通過「分割一切 (SAM)」獲得的。

野外視頻：研究者對兩段真實世界的視頻進行了額外的實驗，其中一段是從 YouTube 下載的，另一段是研究團隊使用手機攝像頭拍攝的。他們從這兩段視頻中抽取了 150 幀進行訓(xùn)練，并使用 SLAHMR 獲取了攝像機矩陣、人體姿勢和 SMPL 參數(shù)。由于沒有提供真實姿態(tài)，因此對這些視頻的評估也表明了各種方法對不準確估計的穩(wěn)健性。

被遮擋單目攝像頭視頻上的結(jié)果

圖 5 比較了 Vid2Avatar 和 Wild2Avatar 在兩個數(shù)據(jù)集上的渲染結(jié)果。

在表 1 中，研究者報告了兩種方法的量化結(jié)果，并觀察到二者在可見部分的渲染性能不相上下。不過，需要注意的是，Wild2Avatar 在身體幾何形狀和遮擋部分的渲染質(zhì)量上始終優(yōu)于 Vid2Avatar。

與 OccNeRF 的比較

研究者將 Wild2Avatar 與最近推出的遮擋人體渲染軟件 OccNeRF 進行比較。比較結(jié)果如圖 6 所示。

為了進行公平比較，他們分別在 500 幀和 100 幀圖像上對 OccNeRF 進行了訓(xùn)練。由于沒有隱式 SDF 表征，OccNeRF 存在浮游物和偽影等常見缺陷。雖然 OccNeRF 也能恢復(fù)被遮擋的人體部位，但人體通常會意外扭曲，導(dǎo)致渲染質(zhì)量較低。

場景分解的可視化

Wild2Avatar 以組合的方式渲染了三個場景部分。人和背景 / 遮擋物分別在兩個不同的神經(jīng)場中建模。圖 7 展示了這三個場景部分的單獨渲染圖。需要注意的是，由于這項工作只專注于人體渲染，因此背景和遮擋物的無偽影渲染不在這項工作的討論范圍內(nèi)。

消融實驗

盡管 Wild2Avatar 仍能恢復(fù)被遮擋的外觀，但在沒有提出的參數(shù)化的情況下，渲染結(jié)果中會出現(xiàn)許多偽影，見圖 8 第一行。

如果不采用建議的損失函數(shù)，則無法完全恢復(fù)被遮擋的區(qū)域，見圖 8 第二行。

提出的損失函數(shù)作為一個正則化器，強制人體幾何形態(tài)與 SMPL 網(wǎng)格先驗保持一致，這防止了錯誤姿態(tài)的渲染，見圖 8 第三行。

更多詳細內(nèi)容，請閱讀原論文。