視頻是一種無處不在的媒體內(nèi)容源，涉及到人們?nèi)粘Ｉ畹脑S多方面。越來越多的現(xiàn)實世界的視頻應(yīng)用，如視頻字幕、內(nèi)容分析和視頻問答（VideoQA），都依賴于能夠?qū)⒁曨l內(nèi)容與文本或自然語言聯(lián)系起來的模型。

 其中，視頻問答模型尤其具有挑戰(zhàn)性，因為它需要同時掌握語義信息，比如場景中的目標，以及時間信息，比如事物如何移動和互動。這兩種信息都必須在擁有特定意圖的自然語言問題的背景下進行。 此外，由于視頻有許多幀，處理全部的幀來學(xué)習(xí)時空信息，可能在計算上成本過高。 

論文鏈接：https://arxiv.org/pdf/2208.00934.pdf 為了解決這個問題，在「Video Question Answering with Iterative Video-Text Co-Tokenization」一文中，谷歌和MIT的研究人員介紹了一種視頻-文本學(xué)習(xí)的新方法，稱為「迭代共同標記」，能夠有效地融合空間、時間和語言信息，用于視頻問答的信息處理。

這種方法是多流的，用獨立的骨干模型處理不同規(guī)模的視頻，產(chǎn)生捕捉不同特征的視頻表示，例如高空間分辨率或長時間的視頻。 模型應(yīng)用「共同認證」模塊，從視頻流與文本的融合中學(xué)習(xí)有效表示。模型計算效率很高，只需67GFLOPs，比以前的方法至少低了50%，同時比其他SOTA的模型有更好的性能。

視頻-文本迭代

該模型的主要目標是從視頻和文本（即用戶問題）中產(chǎn)生特征，共同允許它們的相應(yīng)輸入進行互動。第二個目標是以有效的方式做到這一點，這對視頻來說非常重要，因為它們包含幾十到幾百幀的輸入。

? 該模型學(xué)會了將視頻-語言的聯(lián)合輸入標記為較小的標記集，以聯(lián)合和有效地代表兩種模式。在標記化時，研究人員使用兩種模式來產(chǎn)生一個聯(lián)合的緊湊表示，該表示被送入一個轉(zhuǎn)換層以產(chǎn)生下一級的表示。 

這里的一個挑戰(zhàn)，也是跨模態(tài)學(xué)習(xí)中的典型問題，就是視頻幀往往并不直接對應(yīng)于相關(guān)的文本。研究人員通過增加兩個可學(xué)習(xí)的線性層來解決這個問題，在標記化之前，統(tǒng)一視覺和文本特征維度。這樣一來，研究人員就可以讓視頻和文本都能制約視頻標記的學(xué)習(xí)方式。 

此外，單一的標記化步驟不允許兩種模式之間的進一步互動。為此，研究人員使用這個新的特征表示與視頻輸入特征互動，并產(chǎn)生另一組標記化的特征，然后將其送入下一個轉(zhuǎn)化器層。 這個迭代過程中會創(chuàng)建新的特征或標記，表示對兩種模式的聯(lián)合表示的不斷完善。最后，這些特征被輸入到生成文本輸出的解碼器中。 

按照視頻質(zhì)量評估的慣例，在對個別視頻質(zhì)量評估數(shù)據(jù)集進行微調(diào)之前，研究人員對模型進行預(yù)訓(xùn)練。 在這項工作中，研究人員使用基于語音識別的文本自動注釋的視頻，使用HowTo100M數(shù)據(jù)集，而不是在大型VideoQA數(shù)據(jù)集上預(yù)訓(xùn)練。這種較弱的預(yù)訓(xùn)練數(shù)據(jù)仍然使研究人員的模型能夠?qū)W習(xí)視頻-文本特征。

高效視頻問答的實現(xiàn)

研究人員將視頻語言迭代共同認證算法應(yīng)用于三個主要的VideoQA基準，MSRVTT-QA、MSVD-QA和IVQA，并證明這種方法比其他最先進的模型取得了更好的結(jié)果，同時模型不至于過大。另外，迭代式共同標記學(xué)習(xí)在視頻-文本學(xué)習(xí)任務(wù)上對算力的需求也更低。

該模型只用67GFLOPS算力，是3D-ResNet視頻模型和文本時所需算力（360GFLOP）的六分之一，是X3D模型效率的兩倍多。并且生成了高度準確的結(jié)果，精度超過了最先進的方法。 

多流視頻輸入

對于VideoQA或其他一些涉及視頻輸入的任務(wù)，研究人員發(fā)現(xiàn)，多流輸入對于更準確地回答有關(guān)空間和時間關(guān)系的問題很重要。

 研究人員利用三個不同分辨率和幀率的視頻流：一個低分辨率、高幀率的輸入視頻流（每秒32幀，空間分辨率64x64，記作32x64x64）；一個高分辨率、低幀率的視頻（8x224x224）；以及一個介于兩者之間的（16x112x112）。 

盡管有三個數(shù)據(jù)流需要處理的信息顯然更多，但由于采用了迭代共同標記方法，獲得了非常高效的模型。同時，這些額外的數(shù)據(jù)流允許提取最相關(guān)的信息。 

例如，如下圖所示，與特定活動相關(guān)的問題在分辨率較低但幀率較高的視頻輸入中會產(chǎn)生較高的激活，而與一般活動相關(guān)的問題可以從幀數(shù)很少的高分辨率輸入中得到答案。

這種算法的另一個好處是，標記化會根據(jù)所問問題的不同而改變。

結(jié)論

研究人員提出了一種新的視頻語言學(xué)習(xí)方法，它側(cè)重于跨視頻-文本模式的聯(lián)合學(xué)習(xí)。研究人員解決了視頻問題回答這一重要而具有挑戰(zhàn)性的任務(wù)。研究人員的方法既高效又準確，盡管效率更高，但卻優(yōu)于目前最先進的模型。

谷歌研究人員的方法模型規(guī)模適度，可以通過更大的模型和數(shù)據(jù)獲得進一步的性能改進。研究人員希望，這項工作能引發(fā)視覺語言學(xué)習(xí)方面的更多研究，以實現(xiàn)與基于視覺的媒體的更多無縫互動。