TRACE：因果事件建模助力視頻理解大模型的時間定位能力
論文第一作者為香港中文大學（深圳）理工學院在讀博士生郭永新，指導老師為通訊作者為香港中文大學（深圳）理工學院 / 人工智能學院助理教授唐曉瑩，課題組研究方向包括大模型、聯(lián)邦學習、充電智能優(yōu)化與博弈等。
下班回家后你正深陷于一部兩小時的綜藝節(jié)目中，渴望找到那些讓人捧腹的爆笑片段，卻如同大海撈針?；蛘?，在緊張刺激的足球賽中，你渴望捕捉到那決定性的絕殺瞬間，但傳統(tǒng) AI 視頻處理技術效率低下，且模型缺乏泛化能力。為解決這些問題，香港中文大學（深圳）唐曉瑩課題組聯(lián)合騰訊 PCG 發(fā)布 TRACE 技術，通過因果事件建模為視頻理解大模型提供精準的時間定位能力。
- 論文標題：TRACE: Temporal Grounding Video LLM via Causal Event Modeling
- VTG-LLM: Integrating Timestamp Knowledge into Video LLMs for Enhanced Video Temporal Grounding
- 論文地址：https://arxiv.org/pdf/2410.05643
- https://arxiv.org/pdf/2405.13382
- Github：https://github.com/gyxxyg/TRACE
一. 背景
在長視頻內容檢索的研究領域中，用戶常面臨時間線導航效率低下的困境。傳統(tǒng)的視頻檢索方法采用逐幀分析的線性處理策略，如同逐幀查字典，效率低下且泛化能力差。而現(xiàn)有的多模態(tài)大模型，雖然泛化能力更強，但是效果仍然差強人意。
我們認為這背后的矛盾本質上源于視頻理解大模型的輸出依然使用自然語言建模，無法清晰準確地描述視頻本身的結構。TRACE 的絕妙之處是給視頻事件構建結構化表征，將每個模型的輸出表示為一系列事件，進一步把每個事件拆成三元組「時間戳 - 顯著性分數(shù) - 文本描述」，通過因果推理鏈重構視頻邏輯骨架。
TRACE 技術突破了傳統(tǒng)方法的局限，不再依賴沒有清晰結構的文字描述，而是通過事件級別的因果建模，顯著提升了時序理解與定位精度，為視頻內容檢索實現(xiàn)了 “大海撈針”。
二. 方法
TRACE 方法引入了結構化建模創(chuàng)新：把視頻理解大模型的輸出拆解成「時間戳 - 顯著性分數(shù) - 文本描述」三元事件單元，實現(xiàn)因果事件建模 —— 通過視覺輸入、文本指令和已有事件預測下一個事件
I：文本指令，F(xiàn)：視頻幀的輸入，tk, sk 和 ck：時間戳、顯著性分數(shù)和文本描述。
我們通過條件概率分解發(fā)現(xiàn)，因果事件建?？杀硎緸樽曰貧w模型，具有特殊的 token 順序。基于這一發(fā)現(xiàn)，我們提出了視頻大模型 TRACE（Temporal grounding via Causal Event modeling）。而且，TRACE 還為時間和分數(shù)設計了專用的 tokenizer，就像給它們創(chuàng)建了特定的表征系統(tǒng)。這樣，模型就能更準確地理解和生成時間戳和顯著性分數(shù)了，并為每個任務設計不同的編碼器和解碼器頭，解碼器頭能根據(jù)任務自動切換，從而提高整體性能和適應性。
針對時間和分數(shù)的特殊編碼器
我們?yōu)闀r間和分數(shù)設計專用 tokenizer：時間用 6 位編碼（例：[10.23, 125.37]→<0><0><1><0><.><2><sep><0><1><2><5><.><4><sync>），分數(shù)用 3 位編碼（例：[4.5] →<4><.><5><sync>）。每個詞庫含 13個token，包括10個數(shù)字token以及三個特殊token：<.><sep><sync > ，通過組合實現(xiàn)精確數(shù)值表達。
通過切換 head 來生成不同的任務
在推理階段，模型通過 < sync > 令牌切換任務專用解碼器：依次生成時間→分數(shù)→描述，每個任務配備獨立解碼頭。<sync > 出現(xiàn)時自動切換解碼任務。
視頻幀的特征編碼
TRACE 使用 CLIP ViT-L 從每幀提取大量的原始 token，然后通過基于 slot 的 token 壓縮方案將每一幀壓縮為 8 個 token。這些精煉后的 token 既保留了關鍵視覺信息的完整性，又有效地將時間感知元素融入特征表征中。
訓練策略和數(shù)據(jù)
模型 backbone 模型基于 Mistral-7B 架構，分兩階段訓練：
- 第一階段：訓練視覺壓縮模塊 + 任務頭（抽 128 幀，學習率 1e-3）
- 第二階段：凍結上述模塊，專注調 LLM 基座（同抽 128 幀，學習率 5e-6）
三. 評測
zero-shot
我們在三大 zero-shot 任務測試表現(xiàn)：
- Dense video caption：Youcook2
- Moment retrieval：Charades-STA
- Video highlight detection：QVHighlights
從表中可以看出，TRACE 模型都取得了 “碾壓” 其他通用 video LLM 的效果，比 Temporal grouding LLM 有更大優(yōu)勢。
Ablation study
在 zero-shot 模式下，我們測試了 causal event modeling 和 independent encoder/heads 等關鍵模塊在消融實驗下的結果，如下表所示。
實驗結果驗證了我們提出的因果事件建模以及對時間 / 分數(shù)使用獨立的編解碼器的有效性。另外，從結果中我們還可以發(fā)現(xiàn)，隨著采樣幀數(shù)的增加，模型的效果隨之增加。
Fine tune
在實驗中，我們還比較了 TRACE 與其他模型在 finetune 之后的效果。
在評測中，TRACE 相比 TimeChat 等模型有了巨大的提升，在 Youcook2 數(shù)據(jù)集上取得了 SOTA 效果。無論是 zero-shot 任務還是 finetune 后的效果，TRACE 都取得了優(yōu)于其他模型的成績。
四．結語
總之，TRACE 用 “因果事件建?！?撕開了長視頻的迷霧，以 “任務分治” 策略破解了效率與精度的不可能。它為 AI 理解視頻的方式提供了一種新的可能 —— 不是囫圇吞棗，而是邏輯推演 。
