視頻場景圖生成（VidSGG）旨在識別視覺場景中的對象并推斷它們之間的視覺關(guān)系。

該任務(wù)不僅需要全面了解分散在整個場景中的每個對象，還需要深入研究它們在時序上的運(yùn)動和交互。

最近，來自中山大學(xué)的研究人員在人工智能頂級期刊IEEE T-IP上發(fā)表了一篇論文，進(jìn)行了相關(guān)任務(wù)的探索并發(fā)現(xiàn)：每對物體組合及其它們之間的關(guān)系在每個圖像內(nèi)具有空間共現(xiàn)相關(guān)性，并且在不同圖像之間具有時間一致性/轉(zhuǎn)換相關(guān)性。

論文鏈接：https://arxiv.org/abs/2309.13237

基于這些先驗知識，研究人員提出了一種基于時空知識嵌入的Transformer（STKET）將先驗時空知識納入多頭交叉注意機(jī)制中，從而學(xué)習(xí)更多有代表性的視覺關(guān)系表示。

具體來說，首先以統(tǒng)計方式學(xué)習(xí)空間共現(xiàn)和時間轉(zhuǎn)換相關(guān)性；然后，設(shè)計了時空知識嵌入層對視覺表示與知識之間的交互進(jìn)行充分探索，分別生成空間和時間知識嵌入的視覺關(guān)系表示；最后，作者聚合這些特征，以預(yù)測最終的語義標(biāo)簽及其視覺關(guān)系。

大量實驗表明，文中提出的框架大幅優(yōu)于當(dāng)前競爭算法。目前，該論文已經(jīng)被接收。

論文概述

隨著場景理解領(lǐng)域的快速發(fā)展，許多研究者們開始嘗試?yán)酶鞣N框架解決場景圖生成（Scene Graph Generation, SGG）任務(wù)，并已取得了不俗的進(jìn)展。

但是，這些方法往往只考慮單張圖像的情況，忽略了時序中存在著的大量的上下文信息，導(dǎo)致現(xiàn)有大部分場景圖生成算法在無法準(zhǔn)確地識別所給定的視頻中包含的動態(tài)視覺關(guān)系。

因此，許多研究者致力于開發(fā)視頻場景圖生成（Video Scene Graph Generation, VidSGG）算法來解決這個問題。

目前的工作主要關(guān)注從空間和時間角度聚合對象級視覺信息，以學(xué)習(xí)對應(yīng)的視覺關(guān)系表示。

然而，由于各類物體與交互動作的視覺外表方差大以及視頻收集所導(dǎo)致的視覺關(guān)系顯著的長尾分布，單純的僅用視覺信息容易導(dǎo)致模型預(yù)測錯誤的視覺關(guān)系。

針對上述問題，研究人員做了以下兩方面的工作：

首先，提出挖掘訓(xùn)練樣本中包含的先驗時空知識用以促進(jìn)視頻場景圖生成領(lǐng)域。其中，先驗時空知識包括：

1）空間共現(xiàn)相關(guān)性：某些對象類別之間的關(guān)系傾向于特定的交互。

2）時間一致性/轉(zhuǎn)換相關(guān)性：給定對的關(guān)系在連續(xù)視頻剪輯中往往是一致的，或者很有可能轉(zhuǎn)換到另一個特定關(guān)系。

其次，提出了一種新穎的基于時空知識嵌入的Transformer（Spatial-Temporal Knowledge-Embedded Transformer, STKET）框架。

該框架將先驗時空知識納入多頭交叉注意機(jī)制中，從而學(xué)習(xí)更多有代表性的視覺關(guān)系表示。根據(jù)在測試基準(zhǔn)上得到的比較結(jié)果可以發(fā)現(xiàn)，研究人員所提出的STKET框架優(yōu)于以前的最先進(jìn)方法。

圖1：由于視覺外表多變和視覺關(guān)系的長尾分布，導(dǎo)致視頻場景圖生成充滿挑戰(zhàn)

基于時空知識嵌入的Transformer

時空知識表示

在推斷視覺關(guān)系時，人類不僅利用視覺線索，還利用積累的先驗知識[1, 2]。受此啟發(fā)，研究人員提出直接從訓(xùn)練集中提取先驗時空知識，以促進(jìn)視頻場景圖生成任務(wù)。

其中，空間共現(xiàn)相關(guān)性具體表現(xiàn)為當(dāng)給定物體組合后其視覺關(guān)系分布將高度傾斜（例如，「人」與「杯子」之間的視覺關(guān)系的分布明顯不同于「狗」與「玩具」之間的分布）和時間轉(zhuǎn)移相關(guān)性具體表現(xiàn)為當(dāng)給定前一時刻的視覺關(guān)系后各個視覺關(guān)系的轉(zhuǎn)換概率將大幅變化（例如，當(dāng)已知前一時刻的視覺關(guān)系為「吃」時，下一時刻視覺關(guān)系轉(zhuǎn)移為「書寫」的概率大幅下降）。

如圖2所示，可以直觀地感受到給定物體組合或之前的視覺關(guān)系后，預(yù)測空間可以被大幅的縮減。

圖2：視覺關(guān)系的空間共現(xiàn)概率[3]與時間轉(zhuǎn)移概率

具體而言，對于第i類物體與第j類物體的組合，以及其上一時刻為第x類關(guān)系的情況，首先通過統(tǒng)計的方式獲得其對應(yīng)的空間共現(xiàn)概率矩陣E^{i,j}和時間轉(zhuǎn)移概率矩陣Ex^{i,j}。

接著，將其輸入到全連接層中得到對應(yīng)的特征表示，并利用對應(yīng)的目標(biāo)函數(shù)確保模型所學(xué)到的的知識表示包含對應(yīng)的先驗時空知識。

圖3：學(xué)習(xí)空間（a）和時間（b）知識表示的過程

知識嵌入注意力層

空間知識通常包含有關(guān)實體之間的位置、距離和關(guān)系的信息。另一方面，時間知識涉及動作之間的順序、持續(xù)時間和間隔。

鑒于它們獨(dú)特的屬性，單獨(dú)處理它們可以允許專門的建模更準(zhǔn)確地捕獲固有模式。

因此，研究人員設(shè)計了時空知識嵌入層，徹底探索視覺表示與時空知識之間的相互作用。

圖4：空間（左側(cè)）和時間（右側(cè)）知識嵌入層

時空聚合模塊

如前所述，空間知識嵌入層探索每個圖像內(nèi)的空間共現(xiàn)相關(guān)性，時間知識嵌入層探索不同圖像之間的時間轉(zhuǎn)移相關(guān)性，以此充分探索了視覺表示和時空知識之間的相互作用。

盡管如此，這兩層忽略了長時序的上下文信息，而這對于識別大部分動態(tài)變化的視覺關(guān)系具有幫助。

為此，研究人員進(jìn)一步設(shè)計了時空聚合（STA）模塊來聚合每個對象對的這些表示，以預(yù)測最終的語義標(biāo)簽及其關(guān)系。它將不同幀中相同主客體對的空間和時間嵌入關(guān)系表示作為輸入。

具體來說，研究人員將同一對象對的這些表示連接起來以生成上下文表示。

然后，為了在不同幀中找到相同的主客體對，采用預(yù)測的對象標(biāo)簽和IoU（即并集交集）來匹配幀中檢測到的相同主客體對。

最后，考慮到幀中的關(guān)系在不同批次中有不同的表示，選擇滑動窗口中最早出現(xiàn)的表示。

實驗結(jié)果

為了全面評估所提出的框架的性能，研究人員除了對比現(xiàn)有的視頻場景圖生成方法（STTran, TPI, APT）外，也選取了先進(jìn)的圖像場景圖生成方法（KERN, VCTREE, ReIDN, GPS-Net）進(jìn)行比較。

其中，為確保對比的公平，圖像場景圖生成方法通過對每一幀圖像進(jìn)行識別，從而達(dá)到對所給定視頻生成對應(yīng)場景圖的目標(biāo)。

圖5：在Action Genome數(shù)據(jù)集上以Recall為評價指標(biāo)的實驗結(jié)果

圖6：在Action Genome數(shù)據(jù)集上以mean Recall為評價指標(biāo)的實驗結(jié)果