比Meta的「分割一切模型」(SAM)更快的圖像分割工具，來了！

最近中科院團隊開源了FastSAM模型，能以50倍的速度達到與原始SAM相同的效果，并實現(xiàn)25FPS的實時推理。

該成果在Github已經(jīng)獲得2.4K+次星標(biāo)，在Twitter、PaperswithCode等平臺也受到了廣泛關(guān)注。

相關(guān)論文預(yù)印本現(xiàn)已發(fā)表。

以下內(nèi)容由投稿者提供

視覺基礎(chǔ)模型 SAM[1]在許多計算機視覺任務(wù)中產(chǎn)?了重?影響。它已經(jīng)成為圖像分割、圖像描述和圖像編輯等任務(wù)的基礎(chǔ)。

然?，其巨?的計算成本阻礙了它在實際場景中的?泛應(yīng)?。

最近，中科院?動化所提出并開源了?種加速替代?案 FastSAM。

通過將分割?切任務(wù)重新劃分為全實例分割和提?指導(dǎo)選擇兩個?任務(wù)，?帶實例分割分?的常規(guī) CNN 檢測器以?出50倍的運?速度實現(xiàn)了與SAM?法相當(dāng)?shù)男阅?，?個實時分割?切的基礎(chǔ)模型。

意義與動機

SAM 的出現(xiàn)帶動了 “分割?切”（Segment Anything）任務(wù)的發(fā)展。這?任務(wù)由于其泛化性和可擴展性，有很?可能成為未來?泛視覺任務(wù)的基礎(chǔ)。

FastSAM 為該任務(wù)提供了?套實時解決?案，進?步推動了分割?切模型的實際應(yīng)?和發(fā)展。

本?將“分割?切”任務(wù)解耦為全實例分割和提?引導(dǎo)選擇兩階段，通過引???先驗結(jié)構(gòu)，在提速 50 倍的情況下實現(xiàn)了與 SAM 相近的表現(xiàn)。

FastSAM 的優(yōu)秀表現(xiàn)為視覺任務(wù)的架構(gòu)選擇提供了新的視角——對于特定任務(wù)，專用模型結(jié)構(gòu)或許在計算效率和精確度上仍具有優(yōu)勢。

從模型壓縮的?度看，F(xiàn)astSAM 也證明了基于大模型產(chǎn)生高質(zhì)量數(shù)據(jù)，通過引???先驗結(jié)構(gòu)大幅降低計算復(fù)雜度的路徑的可?性。

示例

Web DEMO

在 HuggingFace 的 Space 中，你可以快速體驗 FastSAM 的分割效果。

你可以上傳一張自定義的圖片，選擇模式并設(shè)置參數(shù)，點擊分割按鈕，就可以得到一個滿意的分割結(jié)果。

現(xiàn)在支持一切模式和點模式的交互，其他模式將在未來嘗試支持。在 Replicate 上已支持所有模式的在線體驗。

多種交互?式

FastSAM目前共支持三種交互方式。

多點交互模式

FastSAM ?持多個帶有前景/背景標(biāo)簽的點交互模式，可以很好地適應(yīng)不同場景的應(yīng)?需求。

以缺陷檢測場景為例，只需對缺陷部位添加前景點，對正常藥丸部分添加背景點，即可準(zhǔn)確地檢測出物體缺陷。

框交互模式

FastSAM 也?持框交互模式。也以缺陷檢測為例，只需對缺陷?致位置進?框選，即可準(zhǔn)確檢測出物體缺陷。

?本交互模式

FastSAM 也?持并開源了?本交互模式。通過不同的?本提示，F(xiàn)astSAM可以準(zhǔn)確分割出不同顏?的?狗。

工作原理

如下圖所示，F(xiàn)astSAM 的網(wǎng)絡(luò)架構(gòu)可分為兩個階段：全實例分割和提示引導(dǎo)選擇。

在全實例分割階段，F(xiàn)astSAM 使用卷積神經(jīng)網(wǎng)絡(luò)來對圖像中的所有對象或區(qū)域進行劃分。

在提示引導(dǎo)選擇階段，它采用包括點提示、框提示和文本提示的各種提示來選出關(guān)注對象。

與基于Transformer的方法不同，F(xiàn)astSAM融合了與視覺分割任務(wù)緊密相關(guān)的先驗知識，例如局部連接和對象分配策略。這使得它以更低地參數(shù)量和計算量下更快地收斂。

定性與定量分析

測試結(jié)果表明，F(xiàn)astSAM各方面的表現(xiàn)完全不輸于Meta的原始版本。

速度

從表中可以看出，F(xiàn)astSAM 取得了遠(yuǎn)超 SAM 的速度表現(xiàn)，在「分割?切」模式下，SAM的速度會受到均勻點提?數(shù)量的影響，? FastSAM 由于結(jié)構(gòu)的特點，運?時間不隨點提?數(shù)量的增加?增加，這使得它成為「分割?切」模式的更好選擇。

同時，由于 FastSAM 在結(jié)構(gòu)設(shè)計中利?了?的先驗知識，使得它在實時推理的同時也具備了與 SAM 相當(dāng)?shù)男阅堋?/p>

邊緣檢測

下圖展?了具有代表性的邊緣檢測結(jié)果。經(jīng)過定性觀察可以看出，盡管FastSAM的參數(shù)明顯較少（只有68M），但它也能產(chǎn)?很?質(zhì)量的邊緣檢測結(jié)果。

從下表可以看出，F(xiàn)astSAM 取得了與 SAM 類似的性能。與 Ground Truth 相?，F(xiàn)astSAM和 SAM 都傾向于預(yù)測更多的邊緣，這種偏差在表中得到了定量的反映。

物體候選

從下表可以看出，F(xiàn)astSAM 在 bbox AR@1000 的表現(xiàn)上超過了計算量最?的 SAM 模型（SAM-H E64），僅次于在 LVIS 數(shù)據(jù)集上監(jiān)督訓(xùn)練的 ViTDet-H[2]。

可視化結(jié)果

SA-1B 分割結(jié)果：下圖展?了 FastSAM 在 SA-1B 數(shù)據(jù)集上不同場景和掩碼數(shù)量時的分割結(jié)果。

下游應(yīng)?對?：下?三張圖對?了 FastSAM 和 SAM 在異常檢測、顯著物體分割和建筑物提取三個下游任務(wù)的效果，F(xiàn)astSAM 在不同模式下均取得了和 SAM 相當(dāng)?shù)谋憩F(xiàn)。

參考?獻
[1] Kirillov A, Mintun E, Ravi N, et al. Segment anything[J]. arXiv preprint arXiv:2304.02643, 2023.
[2] Li J, Yang T, Ji W, et al. Exploring denoised cross-video contrast for weakly-supervised temporal action localization[C]//Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition. 2022: 19914-19924.

論文地址：https://arxiv.org/abs/2306.12156

GitHub項目頁：https://github.com/CASIA-IVA-Lab/FastSAM

HuggingFace DEMO：https://huggingface.co/spaces/An-619/FastSAM

Replicate demo：https://replicate.com/casia-iva-lab/fastsam