這幾天，AI 視頻領(lǐng)域異常地?zé)狒[，其中 OpenAI 推出的視頻生成大模型 Sora 更是火出了圈。而在視頻剪輯領(lǐng)域，AI 尤其是大模型賦能的 Agent 也開始大顯身手。

隨著自然語言被用來處理與視頻剪輯相關(guān)的任務(wù)，用戶可以直接傳達(dá)自己的意圖，從而不需要手動(dòng)操作。但目前來看，大多數(shù)視頻剪輯工具仍然嚴(yán)重依賴手動(dòng)操作，并且往往缺乏定制化的上下文幫助。因此，用戶只能自己處理復(fù)雜的視頻剪輯問題。

關(guān)鍵在于如何設(shè)計(jì)一個(gè)可以充當(dāng)協(xié)作者、并在剪輯過程中不斷協(xié)助用戶的視頻剪輯工具？在本文中，來自多倫多大學(xué)、 Meta（Reality Labs Research）、加州大學(xué)圣迭戈分校的研究者提出利用大語言模型（LLM）的多功能語言能力來進(jìn)行視頻剪輯，并探討了未來的視頻剪輯范式，從而減少與手動(dòng)視頻剪輯過程的阻礙。

• 論文標(biāo)題：LAVE: LLM-Powered Agent Assistance and Language Augmentation for Video Editing
• 論文地址：https://arxiv.org/pdf/2402.10294.pdf

具體而言，研究者推出了視頻剪輯工具 LAVE，它具備了一系列由 LLM 提供的語言增強(qiáng)功能。LAVE 引入了一個(gè)基于 LLM 的規(guī)劃和執(zhí)行智能體，該智能體可以解釋用戶的自由格式語言命令、進(jìn)行規(guī)劃和執(zhí)行相關(guān)操作以實(shí)現(xiàn)用戶剪輯目標(biāo)。智能體可以提供概念化幫助（如創(chuàng)意頭腦風(fēng)暴和視頻素材概覽）和操作幫助（包括基于語義的視頻檢索、故事板和剪輯修剪）。

為了使這些智能體的操作順利進(jìn)行，LAVE 使用視覺語言模型（VLM）自動(dòng)生成視頻視覺效果的語言描述。這些視覺敘述使 LLM 能夠理解視頻內(nèi)容，并利用它們的語言能力協(xié)助用戶完成剪輯。此外，LAVE 提供了兩種交互視頻剪輯模式，即智能體協(xié)助和直接操作。雙重模式為用戶提供了靈活性，并允許他們按需改進(jìn)智能體操作。

至于 LAVE 的剪輯效果怎么樣？研究者對(duì)包括剪輯新手和老手在內(nèi)的 8 名參與者進(jìn)行了用戶研究，結(jié)果表明，參與者可以使用 LAVE 制作出令人滿意的 AI 協(xié)作視頻。

值得關(guān)注的是，這項(xiàng)研究的六位作者中有 5 位華人，包括一作、多倫多大學(xué)計(jì)算機(jī)科學(xué)博士生 Bryan Wang、Meta 研究科學(xué)家 Yuliang Li、Zhaoyang Lv 和 Yan Xu、加州大學(xué)圣迭戈分校助理教授 Haijun Xia。

LAVE 用戶界面（UI）

我們首先來看 LAVE 的系統(tǒng)設(shè)計(jì)，具體如下圖 1 所示。

LAVE 的用戶界面包含三個(gè)主要組件，分別如下：

• 語言增強(qiáng)視頻庫，顯示帶有自動(dòng)生成的語言描述的視頻片段；
• 視頻剪輯時(shí)間軸，包括用于剪輯的主時(shí)間軸；
• 視頻剪輯智能體，使用戶與一個(gè)會(huì)話智能體進(jìn)行交互并獲得幫助。

設(shè)計(jì)邏輯是這樣的：當(dāng)用戶與智能體交互時(shí)，消息交換會(huì)在聊天 UI 中顯示。當(dāng)進(jìn)行相關(guān)操作時(shí)，智能體對(duì)視頻庫和剪輯時(shí)間軸進(jìn)行更改。此外，用戶可以使用光標(biāo)直接對(duì)視頻庫和時(shí)間軸進(jìn)行操作，類似于傳統(tǒng)的剪輯界面。

語言增強(qiáng)視頻庫

語言增強(qiáng)視頻庫的功能如下圖 3 所示。

與傳統(tǒng)工具一樣，該功能允許剪輯播放，但會(huì)提供視覺敘述，即為每個(gè)視頻自動(dòng)生成文本描述，包括語義標(biāo)題和摘要。這些標(biāo)題可以幫助理解和索引剪輯，摘要?jiǎng)t提供了每個(gè)剪輯的視覺內(nèi)容的概述，幫助用戶形成自身編輯項(xiàng)目的故事情節(jié)。每個(gè)視頻下方都會(huì)顯示標(biāo)題和時(shí)長(zhǎng)。

此外，LAVE 使用戶可以利用語義語言查詢來搜索視頻，檢索到的視頻會(huì)在視頻庫中顯示并按相關(guān)性排序。這一功能必須通過剪輯智能體來執(zhí)行。

視頻剪輯時(shí)間軸

從視頻庫中選定視頻并將它添加到剪輯時(shí)間軸后，它們會(huì)顯示在界面底部的視頻剪輯時(shí)間軸上，如下圖 2 所示。其中，時(shí)間軸上的每個(gè)剪輯都由一個(gè)框表示，并顯示三個(gè)縮略圖幀，分別是開始幀、中間幀和結(jié)束幀。

在 LAVE 系統(tǒng)中，每個(gè)縮略圖幀代表剪輯中一秒鐘的素材。與視頻庫一樣，每個(gè)剪輯的標(biāo)題和描述都會(huì)提供。LAVE 中的剪輯時(shí)間軸具有兩個(gè)關(guān)鍵功能，即剪輯排序和修剪。

其中在時(shí)間軸上進(jìn)行剪輯排序是視頻剪輯中的一項(xiàng)常見任務(wù)，對(duì)于創(chuàng)建連貫的敘述非常重要。LAVE 支持兩種排序方法，一是基于 LLM 的排序利用視頻剪輯智能體的故事板功能進(jìn)行操作，二是手動(dòng)排序通過用戶直接操作來排序，拖放每個(gè)視頻框來設(shè)置剪輯出現(xiàn)的順序。

修剪在視頻剪輯中也很重要，可以突出顯示關(guān)鍵片段并刪除多余內(nèi)容。在修剪時(shí)，用戶雙擊時(shí)間軸中的剪輯，打開一個(gè)顯示一秒幀的彈出窗口，如下圖 4 所示。

視頻剪輯智能體

LAVE 的視頻剪輯智能體是一個(gè)基于聊天的組件，可促進(jìn)用戶和基于 LLM 的智能體之間的交互。與命令行工具不同，用戶可以使用自由格式的語言與智能體進(jìn)行交互。該智能體利用 LLM 的語言智能提供視頻剪輯輔助，并提供具體的響應(yīng)，以在整個(gè)編輯過程中指導(dǎo)和幫助用戶。LAVE 的智能體協(xié)助功能是通過智能體操作提供的，每個(gè)智能體操作都涉及執(zhí)行系統(tǒng)支持的編輯功能。

總的來說，LAVE 提供的功能涵蓋了從構(gòu)思和預(yù)先規(guī)劃到實(shí)際編輯操作的整個(gè)工作流程，但該系統(tǒng)并沒有強(qiáng)制規(guī)定嚴(yán)格的工作流程。用戶可以靈活地利用與其編輯目標(biāo)相符的功能子集。例如，具有清晰編輯愿景和明確故事情節(jié)的用戶可能會(huì)繞過構(gòu)思階段并直接投入編輯。

后端系統(tǒng)

該研究采用 OpenAI 的 GPT-4 來闡述 LAVE 后端系統(tǒng)的設(shè)計(jì)，主要包括智能體設(shè)計(jì)、實(shí)現(xiàn)由 LLM 驅(qū)動(dòng)的編輯功能兩個(gè)方面。

智能體設(shè)計(jì)

該研究利用 LLM（即 GPT-4）的多種語言能力（包括推理、規(guī)劃和講故事）構(gòu)建了 LAVE 智能體。

LAVE 智能體有兩種狀態(tài)：規(guī)劃和執(zhí)行。這種設(shè)置有兩個(gè)主要好處：

• 允許用戶設(shè)置包含多個(gè)操作的高級(jí)目標(biāo)，從而無需像傳統(tǒng)命令行工具那樣詳細(xì)說明每個(gè)單獨(dú)的操作。 
• 在執(zhí)行之前，智能體會(huì)將規(guī)劃呈現(xiàn)給用戶，提供修改的機(jī)會(huì)并確保用戶可以完全控制智能體的操作。研究團(tuán)隊(duì)設(shè)計(jì)了一個(gè)后端 pipeline 來完成規(guī)劃和執(zhí)行流程。

如下圖 6 所示，該 pipeline 首先根據(jù)用戶輸入創(chuàng)建行動(dòng)規(guī)劃。然后，該規(guī)劃從文本描述轉(zhuǎn)換為函數(shù)調(diào)用，隨后執(zhí)行相應(yīng)的函數(shù)。

實(shí)現(xiàn) LLM 驅(qū)動(dòng)的編輯功能

為了幫助用戶完成視頻編輯任務(wù)，LAVE 主要支持五種由 LLM 驅(qū)動(dòng)的功能，包括：

• 素材概述
• 創(chuàng)意頭腦風(fēng)暴
• 視頻檢索
• 故事板
• 剪輯修剪

其中前四個(gè)可通過智能體來訪問（圖 5），而剪輯修剪功能可通過雙擊時(shí)間軸中的剪輯，打開一個(gè)顯示一秒幀的彈出窗口（圖 4）。

其中，基于語言的視頻檢索是通過向量存儲(chǔ)數(shù)據(jù)庫實(shí)現(xiàn)的，其余的則通過 LLM 提示工程（prompt engineering）來實(shí)現(xiàn)。所有功能都建立在自動(dòng)生成的原始素材語言描述之上，包括視頻庫中每個(gè)剪輯的標(biāo)題和摘要（圖 3）。研究團(tuán)隊(duì)將這些視頻的文字描述稱為視覺敘述（visual narration）。

感興趣的讀者可以閱讀論文原文，了解更多研究?jī)?nèi)容。