原標(biāo)題：Radocc: Learning Cross-Modality Occupancy Knowledge through Rendering Assisted Distillation

論文鏈接：https://arxiv.org/pdf/2312.11829.pdf

作者單位：FNii, CUHK-Shenzhen SSE, CUHK-Shenzhen 華為諾亞方舟實驗室

會議：AAAI 2024

論文思路：

3D 占用預(yù)測是一項新興任務(wù)，旨在使用多視圖圖像估計 3D 場景的占用狀態(tài)和語義。然而，由于缺乏幾何先驗，基于圖像的場景感知在實現(xiàn)準(zhǔn)確預(yù)測方面遇到了重大挑戰(zhàn)。本文通過探索該任務(wù)中的跨模態(tài)知識蒸餾來解決這個問題，即，本文在訓(xùn)練過程中利用更強大的多模態(tài)模型來指導(dǎo)視覺模型。在實踐中，本文觀察到直接應(yīng)用，在鳥瞰（BEV）感知中提出并廣泛使用的特征或 logits 對齊，并不能產(chǎn)生令人滿意的結(jié)果。為了克服這個問題，本文引入了 RadOcc，一種用于 3D 占用預(yù)測的渲染輔助蒸餾范式。通過采用可微體渲染(differentiable volume rendering)，本文在透視圖中生成深度和語義圖，并提出了教師和學(xué)生模型的渲染輸出之間的兩個新穎的一致性標(biāo)準(zhǔn)(consistency criteria)。具體來說，深度一致性損失對齊渲染光線的終止分布(termination distributions)，而語義一致性損失則模仿視覺基礎(chǔ)模型（VLM）引導(dǎo)的 intra-segment 相似性。nuScenes 數(shù)據(jù)集上的實驗結(jié)果證明了本文提出的方法在改進(jìn)各種 3D 占用預(yù)測方法方面的有效性，例如，本文提出的方法在 mIoU 指標(biāo)中將本文的基線提高了 2.2%，在 Occ3D 基準(zhǔn)中達(dá)到了 50%。

主要貢獻(xiàn)：

本文提出了一種用于 3D 占用預(yù)測的渲染輔助蒸餾范式，名為 RadOcc。本文是第一篇探索 3D-OP 中跨模態(tài)知識蒸餾的論文，并為現(xiàn)有 BEV 蒸餾技術(shù)在該任務(wù)中的應(yīng)用提供了寶貴的見解。

提出了兩種新穎的蒸餾約束，即渲染深度和語義一致性（RDC 和 RSC），它們通過對齊由視覺基礎(chǔ)模型引導(dǎo)的 ray distribution 和 affinity matrices，有效地增強了知識遷移過程。

配備所提出的方法，RadOcc 在 Occ3D 和 nuScenes 基準(zhǔn)上實現(xiàn)了密集和稀疏占用預(yù)測的最先進(jìn)性能。此外，本文驗證了本文提出的蒸餾方法可以有效提高幾個基線模型的性能。

網(wǎng)絡(luò)設(shè)計：

本文首次研究了針對 3D 占用預(yù)測任務(wù)的跨模態(tài)知識蒸餾?；?BEV 感知領(lǐng)域現(xiàn)有的利用 BEV 或 logits 一致性進(jìn)行知識遷移的方法，本文將這些蒸餾技術(shù)擴(kuò)展到在 3D 占用預(yù)測任務(wù)中對齊體素特征和體素 logits，如圖 1(a) 所示。然而，本文的初步實驗表明，這些對齊技術(shù)在 3D-OP 任務(wù)中獲得令人滿意的結(jié)果面臨著重大挑戰(zhàn)，特別是前一種方法引入了負(fù)遷移(negative transfer)。這一挑戰(zhàn)可能源于 3D 目標(biāo)檢測和占用預(yù)測之間的根本差異，后者是一項更細(xì)粒度的感知任務(wù)，需要捕獲幾何細(xì)節(jié)以及背景目標(biāo)。

為了解決上述挑戰(zhàn)，本文提出了 RadOcc，這是一種利用可微體渲染進(jìn)行跨模態(tài)知識蒸餾的新穎方法。RadOcc的核心思想是對教師模型和學(xué)生模型生成的渲染結(jié)果進(jìn)行對齊，如圖1(b)所示。具體來說，本文使用相機(jī)的內(nèi)參和外參對體素特征進(jìn)行體渲染（Mildenhall et al. 2021），這使本文能夠從不同的視點獲得相應(yīng)的深度圖和語義圖。為了實現(xiàn)渲染輸出之間更好的對齊，本文引入了新穎的渲染深度一致性（RDC）和渲染語義一致性（RSC）損失。一方面，RDC 損失強制光線分布(ray distribution)的一致性，這使得學(xué)生模型能夠捕獲數(shù)據(jù)的底層結(jié)構(gòu)。另一方面，RSC 損失利用了視覺基礎(chǔ)模型的優(yōu)勢（Kirillov et al. 2023），并利用預(yù)先提取的 segment 進(jìn)行 affinity 蒸餾。該標(biāo)準(zhǔn)允許模型學(xué)習(xí)和比較不同圖像區(qū)域的語義表示，從而增強其捕獲細(xì)粒度細(xì)節(jié)的能力。通過結(jié)合上述約束，本文提出的方法有效地利用了跨模態(tài)知識蒸餾，從而提高了性能并更好地優(yōu)化了學(xué)生模型。本文展示了本文的方法在密集和稀疏占用預(yù)測方面的有效性，并在這兩項任務(wù)上取得了最先進(jìn)的結(jié)果。

圖 1：渲染輔助蒸餾。(a) 現(xiàn)有方法對特征或 logits 進(jìn)行對齊。(b) 本文提出的 RadOcc 方法同時約束渲染的深度圖和語義。圖2：RadOcc的總體框架。它采用師生架構(gòu)，其中教師網(wǎng)絡(luò)是多模態(tài)模型，而學(xué)生網(wǎng)絡(luò)僅接受相機(jī)輸入。兩個網(wǎng)絡(luò)的預(yù)測將用于通過可微分體渲染(differentiable volume rendering)生成渲染深度和語義。渲染結(jié)果之間采用了新提出的渲染深度和語義一致性損失。

圖 3：渲染深度分析。盡管教師（T）和學(xué)生（S）的渲染深度相似，特別是對于前景物體，但它們的光線終止分布顯示出很大的差異。

圖 4：affinity matrix 的生成。本文首先采用視覺基礎(chǔ)模型（VFM），即 SAM，將 segments 提取到原始圖像中。之后，本文對每個 segment 中渲染的語義特征進(jìn)行 segment 聚合，獲得 affinity matrix 。

實驗結(jié)果：

總結(jié)：

本文提出了 RadOcc，一種用于 3D 占用預(yù)測的新型跨模態(tài)知識蒸餾范式。它利用多模態(tài)教師模型通過可微分體渲染(differentiable volume rendering)為視覺學(xué)生模型提供幾何和語義指導(dǎo)。此外，本文提出了兩個新的一致性標(biāo)準(zhǔn)，深度一致性損失和語義一致性損失，以對齊教師和學(xué)生模型之間的 ray distribution 和 affinity matrix 。對 Occ3D 和 nuScenes 數(shù)據(jù)集的大量實驗表明，RadOcc 可以顯著提高各種 3D 占用預(yù)測方法的性能。本文的方法在 Occ3D 挑戰(zhàn)基準(zhǔn)上取得了最先進(jìn)的結(jié)果，并且大大優(yōu)于現(xiàn)有已發(fā)布的方法。本文相信本文的工作為場景理解中的跨模態(tài)學(xué)習(xí)開辟了新的可能性。