01、概述

隨著人工智能技術(shù)的飛速發(fā)展，視頻生成作為AI領(lǐng)域的重要突破，已經(jīng)開始展現(xiàn)出令人驚艷的潛力。從圖像到視頻的生成，不僅要求算法具有強(qiáng)大的視覺理解能力，還要能準(zhǔn)確捕捉動作和語義之間的微妙關(guān)系。而在這個領(lǐng)域，HunyuanVideo作為一款全新的開源視頻生成大模型，以其卓越的表現(xiàn)和創(chuàng)新的技術(shù)架構(gòu)，正逐步打破傳統(tǒng)視頻生成模型的局限，成為AI視頻生成的領(lǐng)先者之一。

本文將深入探討HunyuanVideo的核心技術(shù)、架構(gòu)設(shè)計以及其如何在行業(yè)中掀起波瀾。無論你是對AI技術(shù)感興趣的開發(fā)者，還是熱衷于視頻創(chuàng)作的內(nèi)容創(chuàng)作者，HunyuanVideo的創(chuàng)新性都值得你一探究竟。

02、什么是HunyuanVideo？

HunyuanVideo是一款由騰訊開發(fā)的、具有130億參數(shù)的視頻生成大模型。它的目標(biāo)是通過強(qiáng)大的技術(shù)架構(gòu)，提供與領(lǐng)先的閉源模型相媲美甚至超越的生成表現(xiàn)。

與大多數(shù)現(xiàn)有的視頻生成模型不同，HunyuanVideo并不局限于單一的數(shù)據(jù)結(jié)構(gòu)或技術(shù)。它采用了一個全面的框架，集成了數(shù)據(jù)整理、圖像-視頻聯(lián)合訓(xùn)練和高效的基礎(chǔ)設(shè)施，能夠支持大規(guī)模模型訓(xùn)練和推理。這一創(chuàng)新設(shè)計使得HunyuanVideo在視頻生成領(lǐng)域取得了顯著突破，成為最大的開源視頻生成模型之一。

03、HunyuanVideo的核心優(yōu)勢

1）高質(zhì)量的視覺效果與運(yùn)動表現(xiàn)

為了確保生成的視頻擁有高質(zhì)量的視覺效果、豐富的運(yùn)動表現(xiàn)、精準(zhǔn)的文本-視頻對齊和生成穩(wěn)定性，HunyuanVideo在架構(gòu)設(shè)計上進(jìn)行了大量的實驗和優(yōu)化。根據(jù)業(yè)內(nèi)專業(yè)評估人員的反饋，HunyuanVideo在綜合指標(biāo)上超越了以往最先進(jìn)的閉源視頻生成模型，包括Runway Gen-3、Luma 1.6，以及三款中文社區(qū)表現(xiàn)最強(qiáng)的模型。

這種突破性的成果，正是HunyuanVideo通過深度優(yōu)化架構(gòu)和技術(shù)細(xì)節(jié)，努力消除生成視頻過程中的噪聲和不確定性所取得的。

2）打破數(shù)據(jù)壁壘，彌合開源與閉源模型的差距

傳統(tǒng)的視頻生成模型往往面臨著閉源和開源之間的技術(shù)鴻溝。而HunyuanVideo的出現(xiàn)，正是希望通過開源的方式，將最前沿的視頻生成技術(shù)帶給更多開發(fā)者和研究人員。通過開源基礎(chǔ)模型和應(yīng)用模型的代碼與權(quán)重，HunyuanVideo旨在彌合開源和閉源視頻基礎(chǔ)模型之間的差距，幫助社區(qū)中的每一位開發(fā)者都能自由探索并嘗試自己的創(chuàng)意，推動視頻生成生態(tài)的更加動態(tài)與活躍。

3） 強(qiáng)大的多模態(tài)信息融合能力

HunyuanVideo采用了一種獨(dú)特的雙流到單流混合模型設(shè)計。這種設(shè)計在視頻生成過程中首先獨(dú)立處理文本和視頻的token（符號），避免了不同模態(tài)之間的干擾，讓每個模態(tài)可以各自學(xué)習(xí)到最合適的調(diào)制機(jī)制；隨后，它會將視頻和文本的token連接在一起，通過后續(xù)的Transformer模塊進(jìn)行有效的信息融合，從而提升生成視頻的質(zhì)量。

這種架構(gòu)能夠有效捕捉視覺和語義信息之間的復(fù)雜交互，顯著增強(qiáng)模型的整體性能，最終生成更符合用戶需求的視頻內(nèi)容。

04、HunyuanVideo的架構(gòu)設(shè)計

HunyuanVideo采用了一種基于隱空間模型的設(shè)計，其訓(xùn)練過程涉及到壓縮視頻的時間維度和空間維度。通過使用3D VAE（變分自編碼器），HunyuanVideo能夠有效地將時間和空間維度的特征壓縮為更緊湊的表示。具體來說，時間維度壓縮4倍，空間維度壓縮8倍，最終將其轉(zhuǎn)化為16個通道，從而顯著減少了后續(xù)Transformer模型處理的token數(shù)量。

這種方法不僅提高了生成效率，還能夠在不犧牲視頻質(zhì)量的情況下，保持較高的分辨率和幀率，使得視頻生成變得更加靈活與高效。

MLLM文本編碼器：更加精準(zhǔn)的文本理解

在視頻生成過程中，文本提示是至關(guān)重要的。為了確保HunyuanVideo能夠準(zhǔn)確理解文本指令并生成高質(zhì)量的視頻，HunyuanVideo采用了一個預(yù)訓(xùn)練的Multimodal Large Language Model（MLLM）作為文本編碼器。

與傳統(tǒng)的CLIP和T5-XXL相比，MLLM在圖文對齊和復(fù)雜推理方面具有更強(qiáng)的優(yōu)勢。通過對大規(guī)模圖文數(shù)據(jù)進(jìn)行微調(diào)，MLLM能夠在特征空間中實現(xiàn)更精準(zhǔn)的圖文對齊，從而使得生成的文本與視頻內(nèi)容更加契合。此外，MLLM還具備零樣本生成能力，能夠根據(jù)系統(tǒng)指令進(jìn)行更為精準(zhǔn)的文本特征提取，進(jìn)而優(yōu)化視頻生成過程。

3D VAE：壓縮空間，提升效率

HunyuanVideo采用的3D VAE不僅具備時間和空間壓縮的優(yōu)勢，還在編碼器和解碼器中使用了CausalConv3D（因果卷積3D）技術(shù)，這一創(chuàng)新設(shè)計讓視頻的生成更加高效。通過4倍壓縮時間維度和8倍壓縮空間維度，HunyuanVideo在保持視頻質(zhì)量的同時，大大減少了計算量，為大規(guī)模視頻生成提供了強(qiáng)有力的技術(shù)支持。

05、視頻生成的創(chuàng)新：Prompt改寫模型

為了幫助用戶更好地與模型互動，HunyuanVideo還提供了一個獨(dú)特的Prompt改寫模型。該模型通過將用戶輸入的文本提示進(jìn)行優(yōu)化，確保模型能夠更準(zhǔn)確地理解用戶的意圖，生成更加符合要求的視頻。

HunyuanVideo提供了正常模式和導(dǎo)演模式兩種改寫模式。正常模式旨在增強(qiáng)視頻生成模型對用戶指令的理解，而導(dǎo)演模式則專注于提升視頻的視覺質(zhì)量，包括構(gòu)圖、光照和攝像機(jī)的運(yùn)動等方面。雖然導(dǎo)演模式能夠生成更具視覺沖擊力的視頻，但有時也可能會犧牲一些語義細(xì)節(jié)，因此用戶可以根據(jù)自己的需求進(jìn)行選擇。

06、HunyuanVideo的能力評估

為了驗證HunyuanVideo的生成能力，我們與四個閉源視頻生成模型進(jìn)行了對比。在與其他模型的比較中，我們使用了1,533個文本提示，并通過單次推理生成了相同數(shù)量的視頻樣本。評估標(biāo)準(zhǔn)包括文本對齊、運(yùn)動質(zhì)量和視覺質(zhì)量。結(jié)果表明，HunyuanVideo在綜合指標(biāo)上表現(xiàn)最為優(yōu)秀，尤其在運(yùn)動質(zhì)量方面，表現(xiàn)優(yōu)于其他所有對比模型。

07、結(jié)語

隨著HunyuanVideo的開源發(fā)布，AI視頻生成技術(shù)迎來了一個新的時代。它不僅為開發(fā)者提供了一個強(qiáng)大、靈活的創(chuàng)作平臺，也為AI視頻生成的未來奠定了基礎(chǔ)。通過HunyuanVideo，我們有理由相信，在不久的將來，更多的創(chuàng)作者將能夠借助AI技術(shù)，輕松生成高質(zhì)量的視頻內(nèi)容，創(chuàng)造出更豐富、更生動的視覺世界。

參考：

1. ??https://github.com/Tencent/HunyuanVideo/tree/main??

本文轉(zhuǎn)載自公眾號Halo咯咯 作者：基咯咯

原文鏈接：??https://mp.weixin.qq.com/s/UaHVpYIuFyVC4cxvKHM21w??