無編碼器多模態(tài)大模型被拓展到3D領(lǐng)域——

3D編碼器的功能被融入LLM本身，無編碼器3D LMM適應(yīng)不同的點云分辨率，擺脫預(yù)訓(xùn)練編碼器的依賴。

來自上海AI Lab、西北工業(yè)大學、香港中文大學、清華大學等提出ENEL，在預(yù)訓(xùn)練階段探索了如何使用自監(jiān)督損失將3D編碼器的功能整合到LLM本身，在指令調(diào)優(yōu)階段提出了一種層次幾何聚合策略，基于PointLLM首次全面研究了無編碼器架構(gòu)在3D多模態(tài)大模型中的潛力。

在Objaverse基準測試中，ENEL表現(xiàn)突出，性能上超越目前SOTA ShapeLLM-13B。

基于編碼器架構(gòu)的3D LMM的局限性

針對3D大型多模態(tài)模型（LMMs），基于編碼器的架構(gòu)存在以下潛在問題：

（1）點云分辨率限制。3D編碼器通常在固定分辨率的點云數(shù)據(jù)上進行預(yù)訓(xùn)練（如PointBERT中的1024個點）。然而在推理過程中，點云的分辨率可能發(fā)生變化（例如，8192或512個點），這導(dǎo)致訓(xùn)練與推理分辨率不一致，從而在提取3D嵌入時丟失空間信息，影響LLM的理解能力，如圖(a)所示。

（2）嵌入語義差異。3D編碼器通常采用自監(jiān)督學習方法（如掩碼自編碼器和對比學習）進行預(yù)訓(xùn)練，但其訓(xùn)練目標與LLMs的語義需求可能不完全一致，因此無法捕捉LLMs理解3D物體所需的關(guān)鍵語義信息，如圖(b)所示。

簡單的MLP通常也難以實現(xiàn)充分的語義轉(zhuǎn)換。從上圖可見，ENEL的無編碼器架構(gòu)提供了更高的靈活性和更強的泛化性，更多關(guān)注到3D關(guān)鍵語義。

應(yīng)用自監(jiān)督損失將3D編碼器納入LLM本身

無編碼器結(jié)構(gòu)首先面臨的問題是如何提取高層次3D語義信息，避免模型難以捕捉3D點云的復(fù)雜空間結(jié)構(gòu)?？梢杂^察到從PointLLM中拿掉Encoder后，模型性能顯著下降。

PointLLM原生的token embedding模塊過于粗粒度，為了減少信息損失并提供精細的局部特征，團隊采用了一個來自Point-PN的輕量化變體小型網(wǎng)絡(luò)。

具體而言，對于點云團隊通過FPS進行下采樣，采用knn進行局部聚合，并使用可學習的線性層進行特征編碼。結(jié)果表明團隊設(shè)計的embedding模塊相比可以帶來明顯的性能提升。

為了讓LLM進一步承擔encoder的編碼功能，在預(yù)訓(xùn)練階段嘗試了將LLM的前幾層設(shè)為可學習來挖掘點云特征中的高級語義信息，結(jié)果發(fā)現(xiàn)較小的學習率能夠帶來更好的結(jié)果。

通過以上兩種改變，無編碼器結(jié)構(gòu)已經(jīng)與基于編碼器的PointLLM在描述任務(wù)上持平。

當前的3D編碼器大多依靠自監(jiān)督損失學習提取并編碼高層次3D語義信息, 主要分為掩蔽建模損失(a)、重建損失(b)、對比損失(c) 和知識蒸餾損失(d)。

基于編碼器架構(gòu)的3D LMM在訓(xùn)練時依靠對文字部分應(yīng)用自回歸損失進行學習，那是否能同時對點云部分應(yīng)用自監(jiān)督損失，將3D編碼器的能力整合進LLM本身？

團隊在預(yù)訓(xùn)練階段實現(xiàn)并評估了這些損失對無編碼器3D LMM的影響。

具體而言，掩蔽建模損失和重建損失分別對點云掩碼token的部分進行恢復(fù)和對全體點云token進行重建，而知識蒸餾損失采用uni3d-L在特征層面進行蒸餾。

最后團隊提出了一種混合語義損失，先對點云token進行隨機掩碼，然后將mask token拼接在visible token的后面以符合自回歸邏輯，同時對visible token計算重建損失，這種混合方法不僅能夠有效地將高層次語義信息嵌入LLM中，還能確保在整個點云學習過程中，幾何信息的一致性得以保持。

從實驗結(jié)果中可以觀察到，自監(jiān)督學習損失在無編碼器3D LMM中通常具有積極影響，通過精心設(shè)計的任務(wù)促使LLM在學習過程中捕捉潛在的幾何關(guān)系以及深層次的語義信息。

其中，掩蔽建模損失展現(xiàn)出最為顯著的性能提升。

相較之下，知識蒸餾損失的提升效果較為有限，表現(xiàn)遜色于前兩種損失類型。

層次幾何聚合策略感知3D局部細節(jié)

傳統(tǒng)的3D編碼器往往通過將顯式的歸納偏置嵌入其架構(gòu)中，逐步捕捉多層次的3D幾何特征。例如，像Point-M2AE這樣的模型采用了局部到全局的層次結(jié)構(gòu)，這一結(jié)構(gòu)在2D圖像處理中常見于卷積層。相比之下，無編碼器架構(gòu)的LLM沒有明確的局部建模模塊，主要依賴自注意力機制來建模全局交互。

因此，如何將歸納偏置有效地整合到LLM中，以增強其對3D幾何結(jié)構(gòu)的感知能力，成為一個重要問題。

基于提出的混合語義損失，在指令調(diào)優(yōu)階段，團隊探索了如何促使LLM主動感知3D局部細節(jié)，同時補充其已學習的全局語義信息。為此，團隊設(shè)計了層次幾何聚合策略。

具體來說，從LLM的第二層開始，通過最遠點采樣將輸入點云token下采樣，將令牌數(shù)量減少至M/2并選取局部中心。接著，利用k-NN算法獲取鄰近點，并通過門控自注意力機制捕捉局部幾何信息。

最終，通過池化操作融合鄰近點特征，得到M/2長度的特征表示，并重復(fù)l-1次，完成幾何聚合。通過多層LLM層后，再通過l次幾何傳播將聚合后的特征從局部中心傳播至鄰近點，最終恢復(fù)為長度為M的點云特征，增強模型對局部和全局幾何結(jié)構(gòu)的感知。

實驗結(jié)果：定性定量分析

定性實驗中，團隊可視化了PointLLM和ENEL最后一層中，平均文本token與點云token之間的注意力得分。

團隊選擇了三種物體類別：椅子、飛機和臺燈。

圖中紅色表示較高的注意力得分。

結(jié)果顯示，ENEL作為無編碼器架構(gòu)，能夠?qū)崿F(xiàn)兩種模態(tài)特征之間的高相關(guān)性，平均文本token聚焦于物體的關(guān)鍵幾何結(jié)構(gòu)。

在Objaverse基準測試中，ENEL-7B在描述和分類任務(wù)上超越了同等規(guī)模甚至13B的模型。此外，在3D MM-Vet數(shù)據(jù)集的3D-VQA任務(wù)中，盡管訓(xùn)練數(shù)據(jù)缺乏空間和具身交互信息，ENEL仍取得了42.7%的GPT得分，領(lǐng)先PointLLM-7B 1.5%。

定性定量結(jié)果驗證了混合語義損失和層次幾何聚合策略在無編碼器架構(gòu)中的有效性。

代碼鏈接：
https://github.com/Ivan-Tang-3D/ENEL.
論文鏈接：
https://arxiv.org/pdf/2502.09620v1