3D模型分割現(xiàn)在也解放雙手了！

香港大學(xué)和字節(jié)夢幻聯(lián)動，搞出了個新方法：

不需要人工標(biāo)注，只需要一次訓(xùn)練，就能讓3D模型理解語言并識別未標(biāo)注過的類別。

比如看下面這個例子，未標(biāo)注的（unannotated）黑板和顯示器，3D模型經(jīng)過這個方法訓(xùn)練之后，就能很快“抓準(zhǔn)”目標(biāo)進(jìn)行劃分。

再比如，給它分別輸入sofa、cough這類同義詞刁難一下，也是輕松拿下。

甚至連浴室（bathroom）這類抽象分類也能搞定。

這個新方法名叫PLA （Point-Language Assocation），是一種結(jié)合點(diǎn)云（目標(biāo)表面特性的海量點(diǎn)集合）和?然語?的方法。

目前，該論文已經(jīng)被CVPR 2023接收。

不過話說回來，不需要??標(biāo)注，只進(jìn)行?次訓(xùn)練，同義詞抽象分類也能識別……這可是重重buff疊加。

要知道一般方法使用的3D數(shù)據(jù)和?然語?并不能夠直接從?上免費(fèi)獲取，往往需要昂貴的??標(biāo)注，而且一般方法也?法根據(jù)單詞之間的語義聯(lián)系識別新類別。

那PLA又是如何做到的呢？一起來看～

具體原理

其實(shí)說白了，要成功實(shí)現(xiàn)3D模型劃分，最重要的一步就是讓3D數(shù)據(jù)也能理解?然語?。

專業(yè)點(diǎn)來說，就是要給3D點(diǎn)云引??然語?的描述。

那怎么引入？

鑒于目前2D圖像的劃分已經(jīng)有比較成功的方法，研究團(tuán)隊決定從2D圖像入手。

首先，把3D點(diǎn)云轉(zhuǎn)換為對應(yīng)的2D圖像，然后作為2D多模態(tài)?模型的輸?，并從中提取對于圖像的語?描述。

緊接著，利?圖?和點(diǎn)云之間的投影關(guān)系，圖?的語言描述也就自然能夠關(guān)聯(lián)到3D點(diǎn)云數(shù)據(jù)了。

并且，為了兼容不同粒度的3D物體，PLA還提出了多粒度的3D點(diǎn)云-?然語?關(guān)聯(lián)方法。

對于整個3D場景??，PLA將場景對應(yīng)所有圖?提取的語?描述進(jìn)?總結(jié)，并?這個總結(jié)后的語?關(guān)聯(lián)整個3D場景。

對于每個圖像視?對應(yīng)的部分3D場景??，PLA直接利?圖像作為橋梁來關(guān)聯(lián)對應(yīng)的3D點(diǎn)云和語?。

對于更加細(xì)粒度的3D物體??，PLA通過?較不同圖像對應(yīng)點(diǎn)云之間的交集和并集，以及語?描述部分的交集和并集，提供了?種更加細(xì)粒度的3D-語?關(guān)聯(lián)?式。

這樣一來，研究團(tuán)隊就能夠得到成對的3D點(diǎn)云-?然語?，這一把直接解決了人工標(biāo)注的問題。

PLA用得到的“3D點(diǎn)云-?然語?”對和已有的數(shù)據(jù)集監(jiān)督來讓3D模型理解檢測和分割問題定義。

具體來說，就是利?對?學(xué)習(xí)來拉近每對3D點(diǎn)云-?然語?在特征空間的距離，并推遠(yuǎn)不匹配的3D點(diǎn)云和?然語?描述。

講了這么多原理，那PLA在具體分割任務(wù)中表現(xiàn)到底如何？

語義分割任務(wù)超越基準(zhǔn)65%

研究?員通過測試3D開放世界模型在未標(biāo)注類別的性能作為主要衡量標(biāo)準(zhǔn)。

先是在ScanNet和S3DIS的語義分割任務(wù)上，PLA超過以前的基線?法35%～65%。

在實(shí)例分割任務(wù)中，PLA也有提升，對比之前的方法，PLA提升幅度15%～50%不等。

研究團(tuán)隊

這個項(xiàng)目的研究團(tuán)隊來自香港大學(xué)的CVMI Lab和字節(jié)跳動。

CVMI Lab是香港大學(xué)的一個人工智能實(shí)驗(yàn)室，實(shí)驗(yàn)室2020年2月1日成立。

研究范圍涵蓋了計算機(jī)視覺與模式識別，機(jī)器學(xué)習(xí)/深度學(xué)習(xí)，圖像/視頻內(nèi)容分析以及基于機(jī)器智能的工業(yè)大數(shù)據(jù)分析。

論?地址:??https://arxiv.org/pdf/2211.16312.pdf???
項(xiàng)?主?:???https://github.com/CVMI-Lab/PLA??