真的這么絲滑嗎？Hinton組提出基于大型全景掩碼的實例分割框架，圖像視頻場景絲滑切換
全景分割是一項基本的視覺任務，該任務旨在為圖像的每個像素指定語義標簽和實例標簽。語義標簽描述每個像素的類別（例如天空、豎直物體等），實例標簽為圖像中的每個實例提供唯一的 ID（以區(qū)分同一類別的不同實例）。該任務結合了語義分割和實例分割，提供了關于場景的豐富語義信息。
雖然語義標簽的類別是先驗固定的，但分配給圖像中對象的實例 ID 是可以互相交換同時不影響識別的。例如，交換兩輛車的實例 ID 不會影響結果。因此，經過訓練以預測實例 ID 的神經網絡應該能夠學習從單個圖像到多個實例 ID 分配的一對多映射。一對多映射的學習具有挑戰(zhàn)性，傳統(tǒng)方法通常利用多個階段的管道，包括對象檢測、分割、合并多個預測 。最近，基于可微二分圖匹配，一些學者提出了端到端方法，能夠有效地將一對多映射轉換為基于識別匹配的一對一映射。然而，這些方法仍然需要定制的架構和專門的損失函數(shù)，以及用于全景分割任務的內置歸納偏置。
最近的通用視覺模型，例如 Pix2Seq、OFA、UViM 和 Unified I/O，提倡通用的、不限制任務的框架來實現(xiàn)泛化任務，同時還能比以前的模型簡單得多。例如，Pix2Seq 根據圖像生成一系列具有語義意義的序列，來完成一些核心的視覺任務，并且這些模型基于 Transformers 來訓練自回歸模型。
在一篇新的論文中，谷歌大腦的 Ting Chen、Geoffrey Hinton 等研究者遵循相同的理念， 從條件離散數(shù)據生成的角度理解全景分割任務問題。
論文鏈接 https://arxiv.org/pdf/2210.06366.pdf
如圖 1 所示，研究者為全景掩碼設計了一個生成模型，并為輸入到模型的每一張圖片都生成一組離散 token。使用者只需將過去幀的預測作為附加條件信號，就可以將此模型應用于視頻數(shù)據（在線數(shù)據 / 流媒體）。這樣一來，模型就可以自動地學習跟蹤和分割對象。
全景分割的生成式建模非常具有挑戰(zhàn)性，因為全景掩碼是離散的，或者說是有類別的，并且模型可能非常大。例如，要生成 512×1024 的全景掩碼，模型必須生成超過 1M 的離散標記（語義標簽和實例標簽）。這對于自回歸模型來說開銷還是比較昂貴的，因為 token 本質上是順序的，很難隨著輸入數(shù)據的規(guī)模變化而變化。擴散模型更擅長處理高維數(shù)據，但它們最常應用于連續(xù)域而不是離散域。通過用模擬位表示離散數(shù)據，本文作者表明可以直接在大型全景掩碼上訓練擴散模型，而無需學習潛在空間。
通過廣泛的實驗，研究者們證明了他們的通用法可以在類似環(huán)境中與最先進的專家方法一較高下。
模型架構
擴散模型采樣是迭代進行的，因此在推理過程中必須多次運行網絡的前向傳播。因此，如圖 2 所示，研究者有意將網絡分成兩個組件：1）圖像編碼器；2) 掩碼解碼器。前者將原始像素數(shù)據映射到高級表示向量，然后掩碼解碼器迭代地讀出全景掩碼。
像素 / 圖像編碼器?
編碼器是將原始圖像
映射到
中的特征圖的網絡，其中 H’和 w’是全景遮罩的高度和寬度。全景遮罩可以與原始圖像的大小相同或小一點。在這項工作中，研究者們使用 ResNet 作為骨干網絡，然后使用 Transformer 的編碼器層作為特征提取器。為了確保輸出的特征圖具有足夠的分辨率，并包含不同尺度的特征，受 U-Net 和特征金字塔網絡的啟發(fā)，研究者使用具有雙邊連接和上采樣操作的卷積從不同的分辨率來合并特征。雖然可以使用更復雜的編碼器，這樣可以使用一些架構設計方面的最新進展，但這不是網絡模型的主要關注點，所以研究者只是使用較為簡單的特征提取器來說明其在模型中的作用。
掩碼解碼器?
解碼器在模型推理過程中基于圖像特征，迭代地細化全景掩碼。具體來說，研究者使用的掩碼解碼器是 TransUNet。該網絡將來自編碼器的圖像特征圖和噪聲掩碼（隨機初始化或迭代地來自編碼過程）的連接作為輸入，并輸出對掩碼的精確預測。解碼器與用于圖像生成和圖像到圖像轉換的標準 U-Net 架構之間的一個區(qū)別是，在上采樣之前，本文使用的 U-Net 頂部使用了帶有交叉注意力層的 transformer 解碼器層來合并編碼的圖像特征。
在視頻模態(tài)下的應用
研究者將圖像條件下的全景遮罩建模為：p(m|x)?；诮o定視頻的三維掩碼（有一個額外的時間維度），本文的模型就可以直接適用于視頻全景分割。為了適應在線 / 流媒體的視頻設置，可以改用 p(m_t|x_t,m_(t-1),m_(t-k))建模，從而基于當前的圖像和上一時刻的掩碼生成新的全景掩碼。如圖 5 所示，這一變化可以通過將過去的全景掩碼 (m_(t-1),m_(t-k)) 與現(xiàn)有的噪聲掩碼連接起來來實現(xiàn)。除了這個微小的變化之外，其他方面都與視頻基礎模型（p(m|x)）相同。這個模型很簡單，對圖像全景模型進行微調就可以應用到視頻場景里。
實驗結果
本文與兩個系列的最先進的方法進行了比較，即專家方法和通用方法。表 1 總結了在 MS-COCO 數(shù)據集上的結果。Pix2Seq-D 在基于 ResNet-50 的主干上的泛化質量（PQ）與最先進的方法相比有一定的競爭力。與最近的其他通用模型如 UViM 相比，本文的模型表現(xiàn)明顯更好，同時效率更高。
表 2 將 Pix2Seq-D 與無監(jiān)督視頻物體分割最先進的方法在 DAVIS 數(shù)據集上進行了比較，指標使用的是標準的 J&F。值得注意的是基線不包括其他通用模型，因為它們不能直接適用于該任務。本文的方法在沒有專門設計的情況下取得了與最先進的方法相同的結果。
圖 8、9 和 10 顯示了 Pix2Seq-D 在 MS-COCO、Cityscape 和 DAVIS 上的示例結果。
