本月初，Meta推出的一款可以「分割一切」的模型Segment Anything Model (SAM) 已經(jīng)引起了廣泛的關(guān)注。今天，我們向大家介紹一款名為「Segment Any RGBD（SAD）」的機(jī)器學(xué)習(xí)模型。與以往所有使用SAM的工具的不同之處在于，SAD讀入的圖片可以是經(jīng)過(guò)渲染之后的深度圖，讓SAM直接根據(jù)幾何信息來(lái)分割圖像。該項(xiàng)目是由Visual Intelligence Lab@HKUST, HUST, MMLab@NTU, Smiles Lab@XJTU和NUS的同學(xué)完成的。如果大家覺(jué)得這個(gè)項(xiàng)目有意思的話(huà)，請(qǐng)大家多多star～

演示程序鏈接：https://huggingface.co/spaces/jcenaa/Semantic_Segment_AnyRGBD

代碼鏈接：https://github.com/Jun-CEN/SegmentAnyRGBD

簡(jiǎn)介

人類(lèi)可以從深度圖的可視化中自然地識(shí)別物體，所以研究人員首先通過(guò)顏色映射函數(shù)將深度圖（[H，W]）映射到RGB空間（[H，W，3]），然后將渲染的深度圖像輸入 SAM。

與RGB圖像相比，渲染后的深度圖像忽略了紋理信息，而側(cè)重于幾何信息。

以往基于 SAM 的項(xiàng)目里SAM 的輸入圖像都是 RGB 圖像， 該團(tuán)隊(duì)是第一個(gè)使用 SAM 直接利用渲染后的深度圖提取幾何信息的。

下圖顯示了具有不同顏色圖函數(shù)的深度圖具有不同的 SAM 結(jié)果。

模型流程圖如下圖所示，作者提供了兩種選擇，包括將 RGB 圖像或渲染的深度圖像輸入到 SAM進(jìn)行分割，在每種模式下，用戶(hù)都可以獲得Semantic Mask（一種顏色代表一個(gè)類(lèi)別）和帶有類(lèi)別的 SAM  Mask。

以輸入為深度圖為例子進(jìn)行說(shuō)明。首先通過(guò)顏色映射函數(shù)將深度圖（[H，W]）映射到RGB空間（[H，W，3]），然后將渲染后的深度圖送入SAM進(jìn)行分割。

同時(shí)使用OVSeg對(duì)RGB圖進(jìn)行zero-shot語(yǔ)義分割，只需要輸入一系列候選類(lèi)別的名稱(chēng)即可完成類(lèi)別識(shí)別。然后每一個(gè)SAM的mask的類(lèi)別會(huì)根據(jù)當(dāng)前mask里面的點(diǎn)的語(yǔ)義分割結(jié)果進(jìn)行投票，選擇點(diǎn)數(shù)最多的類(lèi)別當(dāng)成當(dāng)前mask的類(lèi)別。

最終輸出可視化有兩種形式，一種是Semantic mask，即一種顏色對(duì)應(yīng)一種類(lèi)別；另一種是SAM mask with classes，即輸出的mask仍然是SAM的mask，并且每一個(gè)mask都有類(lèi)別。并且可以根據(jù)深度圖將2D的結(jié)果投影到3D space進(jìn)行可視化。

對(duì)比效果

作者將RGB送入SAM進(jìn)行分割與將渲染后的深度圖送入SAM進(jìn)行分割進(jìn)行了對(duì)比。

• RGB圖像主要表示紋理信息，而深度圖像包含幾何信息，因此RGB圖像比渲染的深度圖像色彩更豐富。在這種情況下，SAM 為 RGB 輸入提供的掩碼比深度輸入多得多，如下圖所示。

• 渲染的深度圖像減輕了 SAM 的過(guò)分割。例如，桌子在RGB圖像上被分割成四個(gè)部分，其中一個(gè)在語(yǔ)義結(jié)果中被分類(lèi)為椅子（下圖中的黃色圓圈）。相比之下，桌子在深度圖像上被視為一個(gè)整體對(duì)象并被正確分類(lèi)。人的頭部的一部分在RGB圖像上被分類(lèi)為墻壁（下圖中的藍(lán)色圓圈），但在深度圖像上卻被很好地分類(lèi)。
• 距離很近的兩個(gè)物體在深度圖上可能被分割為一個(gè)物體，比如紅圈中的椅子。在這種情況下，RGB 圖像中的紋理信息對(duì)于找出對(duì)象比較關(guān)鍵。

Demo

作者表示，希望SAD模型能夠帶來(lái)更多的啟發(fā)和創(chuàng)新，也期待著反饋和建議。讓我們一起探索這個(gè)神奇的機(jī)器學(xué)習(xí)世界吧！