本文主要作者來自 LMMs-Lab 團隊與新加坡南洋理工大學。共同一作中，張培源是南洋理工大學研究助理，張愷宸是南洋理工大學四年級本科生，李博為南洋理工大學三年級博士生，指導教師為 MMLab@NTU 劉子緯教授。LMMs-Lab 是一個由學生、研究人員和教師組成的團隊，致力于多模態(tài)模型的研究，主要研究方向包括多模態(tài)模型的訓練與全面評估，此前的工作包括多模態(tài)測評框架 lmms-eval 等。

為什么說理解長視頻難如 “大海撈針”？

現(xiàn)有的 LMMs 在處理長視頻時面臨的一個主要挑戰(zhàn)是視覺 token 數(shù)量過多。比如，LLaVA-1.6 對單張圖片就能生成 576 到 2880 個視覺 token。視頻幀數(shù)越多，token 數(shù)量也就更多。雖然 BLIP2,LLaMA-VID, Chat-UniVI 等工作 通過改動 ViT 和語言模型之間的連接層來減少視覺 token 數(shù)量，但仍然不能處理特別多的幀數(shù)。

此外，缺乏高質(zhì)量的長視頻數(shù)據(jù)集也是一大瓶頸?，F(xiàn)有訓練數(shù)據(jù)集大多是 1 分鐘內(nèi)的短視頻，即使有長視頻，標注的文本對僅限于視頻的幾個幀，缺乏密集的監(jiān)督信號。

近日 LMMs-Lab, 南洋理工大學等機構的研究團隊推出了 LongVA 長視頻模型， 它可以理解超過千幀的視頻數(shù)據(jù)，超越了當前一眾開源視頻多模態(tài)模型的性能！

• 論文鏈接：https://arxiv.org/abs/2406.16852
• 演示地址：https://longva-demo.lmms-lab.com/
• 代碼地址：https://github.com/EvolvingLMMs-Lab/LongVA

作者團隊首次在多模態(tài)領域提出長上下文遷移（Long Context Transfer），這一技術使得多模態(tài)大模型（LMMs）能夠在不進行長視頻訓練的情況下，處理和理解超長視頻。他們的新模型 LongVA 能夠處理 2000 幀或者超過 20 萬個視覺 token, 在視頻理解榜單 Video-MME 上實現(xiàn)了 7B 規(guī)模的 SoTA。在最新的長視頻 MLVU 榜單上， LongVA 更是僅次于 GPT4-o 的最強模型！

LongVA 的作者總結了下面這張圖， 可以看到，目前的多模態(tài)大模型在長視頻理解上還不盡如人意，能夠處理的幀數(shù)限制了長視頻的處理和理解。為了處理更多的幀，LLaMA-VID 等工作不得不急劇壓縮單張幀對應的 token 數(shù)量。

長上下文遷移

針對處理長視頻面臨的挑戰(zhàn)，研究團隊提出了 “長上下文遷移” 這一全新思路。他們認為， 目前長視頻大模型的多幀瓶頸不在如如何從 Vision Encoder 抽取壓縮的特征上面（下圖(a)）， 而在于擴展模型的長上下文能力上。

他們發(fā)現(xiàn)，通過簡單地擴展語言模型的在文字上的上下文長度，他們能成功地將這種能力傳遞到視覺模態(tài)上，而無需進行任何長視頻訓練。具體做法是，首先通過長文本數(shù)據(jù)訓練語言模型，然后利用短圖像數(shù)據(jù)進行模態(tài)對齊。他們發(fā)現(xiàn)在這樣訓練的模型在測試時就可以直接理解多幀的視頻， 省去了長視頻訓練的必要性。

在長語言模型訓練過程中，作者團隊使用了 Qwen2-7B-Instruct 作為底座，并通過長上下文訓練將其文本上下文長度擴展到 224K。訓練過程中使用了 FlashAttention-2、Ring Attention、activation checkpoint 和 parameter offload 等多種優(yōu)化策略，以提高訓練效率和內(nèi)存利用率。

在模態(tài)對齊階段，作者設計了一個名為 “UniRes” 的統(tǒng)一編碼方案，用于同時處理圖像和視頻。UniRes 方案與 LLaVA-1.6 中的 AnyRes 編碼方案類似，但去處了 base image 部分，針對每個 grid 分別一維化，并在每個網(wǎng)格內(nèi)進行了 2x2 特征池化。這種方法確保了在將圖像數(shù)據(jù)擴展到視頻時，能夠保持一致的表示形式。

LongVA 采用了 “短上下文訓練，長上下文測試” 的策略，也就是讓模型在模態(tài)對齊階段僅使用圖像 - 文本數(shù)據(jù)進行訓練，而在測試直接利用長視頻進行處理測試。這種策略有效地展示了長上下文遷移的現(xiàn)象，使得模型能夠在未進行長視頻訓練的情況下，可以獲得理解和處理長視頻的能力。

LongVA 的超強性能

目前還沒有評估 LMMs 長視頻視覺上下文長度的基準測試。為了解決這一問題，LongVA 團隊將大海撈針測試從文本擴展到視覺，并提出了 Visual Needle-In-A-Haystack (V-NIAH) 基準測試。

在 V-NIAH 測試中，團隊設計了 5 個圖像問答問題，將每個問題作為單幀插入到數(shù)小時的電影中，并以 1 幀 / 秒的頻率采樣視頻作為視覺輸入。這些 “針” 的圖像來源于現(xiàn)有的視覺問答數(shù)據(jù)集或 AI 生成的圖像，這樣是為了確保模型無法僅通過語言知識來回答問題。每個問題都包含一個 “定位提示”，使得正確的系統(tǒng)或人類能夠從視頻中定位 “針” 幀并回答問題。

V-NIAH 測試結果顯示，LongVA 在 2000 幀（每幀 144 個 token）以內(nèi)的視覺大海撈針測試幾乎全對， 在 3000 幀的尺度上也保持了不錯的正確率 。有趣的是，和語言模型類似， 他們發(fā)現(xiàn) LongVA 在 V-NIAH 上也存在一定程度的 Lost-In-The-Middle 現(xiàn)象。

在最近騰訊，中科大等機構提出的 Video-MME 榜單上， LongVA 排名第七并且達到了 7B 模型的 SoTA。

https://video-mme.github.io/home_page.html#leaderboard

在智源聯(lián)合北郵、北大和浙大等多所高校推出的 MLVU 基準測試中， LongVA 更是僅次于 GPT-4o， 位列最強的開源模型。

https://github.com/JUNJIE99/MLVU/

作者團隊在論文中也附上了一些效果展示。

更多細節(jié)， 感興趣的讀者可以查看原論文。