2月18日，昆侖萬維開源中國(guó)首個(gè)面向AI短劇創(chuàng)作的視頻生成模型SkyReels-V1、中國(guó)首個(gè)SOTA級(jí)別基于視頻基座模型的表情動(dòng)作可控算法SkyReels-A1。

開源地址（SkyReels-V1）：https://github.com/SkyworkAI/SkyReels-V1

開源地址（SkyReels-A1）：https://github.com/SkyworkAI/SkyReels-A1

技術(shù)報(bào)告：https://skyworkai.github.io/skyreels-a1.github.io/report.pdf

SkyReels官方地址：skyreels.ai

針對(duì)當(dāng)前全球AI視頻生成模型和產(chǎn)品不開源、用不到、費(fèi)用高、不好用等痛點(diǎn)，昆侖萬維SkyReels一次性開源SkyReels-V1和SkyReels-A1兩個(gè)SOTA級(jí)別的模型和算法，將面向AI短劇創(chuàng)作的技術(shù)成果回饋開源社區(qū)和AIGC用戶。

而這只是在AI視頻方向開源道路上的起點(diǎn)，未來將陸續(xù)開源更多面向AI短劇的優(yōu)秀研究成果。

如今，AI視頻和短劇的生產(chǎn)形式已經(jīng)得到了市場(chǎng)的驗(yàn)證，擁有巨大的商業(yè)想象空間。

2024年8月上線的AI短劇創(chuàng)作平臺(tái)SkyReels的目標(biāo)是讓用戶以更低成本體驗(yàn)線上拍劇，利用AI能力解決傳統(tǒng)短劇內(nèi)容供給的難題。

SkyReels能夠助力解決傳統(tǒng)短劇制作流程中面臨的挑戰(zhàn)，如線下拍劇流程復(fù)雜，包括劇本創(chuàng)作、選演員、場(chǎng)景布景、分鏡創(chuàng)作、拍攝、后期處理等環(huán)節(jié)，耗費(fèi)人力多，制作成本貴，周期長(zhǎng)等。

SkyReels-V1：Human-Centric Video Foundation Model，中國(guó)首個(gè)面向AI短劇創(chuàng)作的開源視頻生成模型

AI短劇極其需要同時(shí)對(duì)大腦和肢體完成精細(xì)的控制功能，這就需要同時(shí)把口型生成、表情生成、肢體生成等多個(gè)生成組合在一起。

當(dāng)前大家體驗(yàn)比較好的是口型生成，因?yàn)榭谛蜕善鋵?shí)和音頻信息之間具備更好的映射關(guān)系，因此它的精準(zhǔn)度可以實(shí)現(xiàn)的更好，用戶體驗(yàn)會(huì)更好。

而人物表演的細(xì)節(jié)和能力更是AI短劇生成效果優(yōu)質(zhì)與否的核心所在，為了大幅提升表情生成、肢體生成的可控表演效果，SkyReels-V1不僅針對(duì)表演細(xì)節(jié)做了打標(biāo)，還對(duì)情緒、場(chǎng)景、表演訴求等進(jìn)行處理，利用千萬級(jí)別、高質(zhì)量的好萊塢級(jí)別數(shù)據(jù)進(jìn)行訓(xùn)練微調(diào)。

團(tuán)隊(duì)針對(duì)人物微表情、人物表演細(xì)節(jié)、場(chǎng)景描述、光影、畫面構(gòu)圖等做了更精細(xì)的技術(shù)升級(jí)，可以看到當(dāng)前由SkyReels生成的視頻中的人物已經(jīng)存在更精準(zhǔn)的表演細(xì)節(jié)，初步具備影帝級(jí)人物表演實(shí)力。

SkyReels-V1可實(shí)現(xiàn)影視級(jí)人物微表情表演生成，支持33種細(xì)膩人物表情與400+種自然動(dòng)作組合，高度還原真人情感表達(dá)。

正如以下視頻所示，SkyReels-V1支持生成大笑、怒吼、驚訝、哭泣等微表情，展現(xiàn)出人物情感豐沛的表演細(xì)節(jié)。

即使有大幅度肢體動(dòng)作，例如下面視頻中，正在大口食用漢堡包的男士，SkyReels-V1生成的微表情也完美貼合人物肢體表演。

同時(shí)，SkyReels-V1為AI視頻生成帶來了電影級(jí)光影美學(xué)，基于好萊塢級(jí)的高質(zhì)量影視數(shù)據(jù)訓(xùn)練，當(dāng)前SkyReels生成的每一幀畫面，在構(gòu)圖、演員站位、相機(jī)角度等都具備電影級(jí)的質(zhì)感。

無論是單人鏡頭表演細(xì)節(jié)，還是多人構(gòu)圖，當(dāng)前已具備精準(zhǔn)的表情控制和高質(zhì)感畫面。

在下面視頻中，SkyReels-V1生成的「災(zāi)難」片段，具有好萊塢大片即視感，場(chǎng)景宏大且有震撼感，其中聚焦到單個(gè)人物的臉部表情刻畫也可圈可點(diǎn)，以極細(xì)致的程度展示出了身臨其境的恐懼感。

在一場(chǎng)兩個(gè)人的「告白時(shí)刻」場(chǎng)景中，構(gòu)圖與光影的完美融合，使整個(gè)畫面既充滿了夢(mèng)幻般的浪漫氛圍，又具備了強(qiáng)烈的視覺沖擊力。

靈動(dòng)的表情、飛舞的發(fā)絲、女子飛揚(yáng)的衣袖、一道道柔和的光帶，兩人之間的浪漫愛情故事躍然眼前。

以下視頻來源于昆侖萬維集團(tuán)

更重要的是，SkyReels-V1不僅支持文生視頻、還能支持圖生視頻，是開源視頻生成模型中參數(shù)最大的支持圖生視頻的模型，在同等分辨率下各項(xiàng)指標(biāo)實(shí)現(xiàn)開源SOTA。

圖1丨SkyReels-V1文生視頻指標(biāo)對(duì)比（來源：昆侖萬維SkyReels）

能夠?qū)崿F(xiàn)這樣的SOTA級(jí)別，不僅依賴于昆侖萬維SkyReels團(tuán)隊(duì)基于自研的高質(zhì)量數(shù)據(jù)清洗和人工標(biāo)注管線，構(gòu)建了千萬級(jí)的高質(zhì)量電影&電視劇&紀(jì)錄片數(shù)據(jù)。

更依托團(tuán)隊(duì)自研「Human-Centric」的視頻理解多模態(tài)大模型，大幅提升視頻中人物相關(guān)的理解能力，尤其是自研人物智能解析系統(tǒng)。

綜上所述，得益于扎實(shí)的數(shù)據(jù)工作和先進(jìn)的人物智能解析系統(tǒng)，SkyReels-V1可以實(shí)現(xiàn)：

• 影視化表情識(shí)別體系：11種針對(duì)影視戲劇中的人物表情理解，如不屑、不耐煩、無助、厭惡等表情的理解；
• 人物空間位置感知：基于人體三維重建技術(shù)，實(shí)現(xiàn)對(duì)視頻中多人的空間相對(duì)關(guān)系理解，助力模型生成影視級(jí)人物站位；
• 行為意圖理解：構(gòu)建超過400種行為語(yǔ)義單元，實(shí)現(xiàn)對(duì)人物行為的精準(zhǔn)理解；
• 表演場(chǎng)景理解：實(shí)現(xiàn)人物-服裝-場(chǎng)景-劇情的關(guān)聯(lián)分析。

SkyReels-V1不僅是全球極少數(shù)開源的視頻生成模型，還是圍繞人物表演、開源視頻生成模型中性能最強(qiáng)的。

在自研推理優(yōu)化框架「SkyReels-Infer」的加持下，大幅提升推理效率，實(shí)現(xiàn)544p分辨率，推理基于單臺(tái)4090只需80s，還支持分布式多卡并行，支持Context Parallel，CFG Parallel，和VAE Parallel。

此外，采取fp8 quantization以及parameter-level offload，滿足低顯存用戶級(jí)顯卡運(yùn)行需求；支持flash attention、SageAttention，模型編譯優(yōu)化等，進(jìn)一步優(yōu)化延遲；基于開源diffuser庫(kù)，提升易用性。

正如下圖2所示，在同等RTX4090資源情況下對(duì)比(4卡)，SkyReels-Infer版本比HunyuanVideo官方版本端到端延遲減少58.3%（293.3s vs 464.3s）；SkyReels-Infer版本具備更魯棒的部署策略，支持用戶級(jí)別顯卡1卡-8卡的推理部署。

圖片

圖2丨推理生成544p視頻，使用相同卡數(shù)的RTX 4090，SkyReels-Infer版本端到端延遲優(yōu)于HunyuanVideo官方（xdit）58.3%

在同等A800資源情況下對(duì)比，SkyReels-Infer版本比HunyuanVideo官方版本端到端延遲減少14.7%～28.2%（如圖3所示），SkyReels-Infer版本具備更魯棒的多卡部署策略。

圖3丨推理生成544p視頻，SkyReels-Infer版本具備更魯棒的多卡部署策略，支持8卡部署

SkyReels-A1：首個(gè)SOTA級(jí)別的基于視頻基座模型的表情動(dòng)作可控算法

為了實(shí)現(xiàn)更加精準(zhǔn)可控的人物視頻生成，昆侖萬維還開源了SOTA級(jí)別的基于視頻基座模型的表情動(dòng)作可控算法SkyReels-A1，對(duì)標(biāo)Runway的Act-One，SkyReels-A1支持視頻驅(qū)動(dòng)的電影級(jí)表情捕捉，實(shí)現(xiàn)高保真微表情還原。

SkyReels-A1能夠基于任意人體比例（包括肖像、半身及全身構(gòu)圖）生成高度逼真的人物動(dòng)態(tài)視頻，其真實(shí)感源自對(duì)人物表情變化和情緒的精準(zhǔn)模擬、皮膚肌理、身體動(dòng)作跟隨等多維度細(xì)節(jié)的深度還原。

如下述視頻所示，將參考人物圖片（上圖）和驅(qū)動(dòng)視頻（左下）同時(shí)作為輸入，在SkyReels-A1的能力加持下，生成了新的視頻——將驅(qū)動(dòng)視頻中的面部表情和表演細(xì)節(jié)「移植」到給定參考圖片的人物身上。

SkyReels-A1支持生成的視頻（下中）沒有失真，且還原了驅(qū)動(dòng)視頻的微表情和肢體表演，效果優(yōu)于Runway Act-One生成的視頻（右下）。

SkyReels-A1不僅支持側(cè)臉的表情控制生成、還能實(shí)現(xiàn)更加逼真的眉眼微表情生成和更大幅度的頭部與自然身體動(dòng)作。

例如同一句臺(tái)詞表演，從下面視頻可以看出，最右邊的人物有明顯變樣失真，和原始人物形象不一致，而SkyReels-A1支持和驅(qū)動(dòng)下的人物表演，不僅人物不失真，且表演細(xì)節(jié)更真實(shí)，還可以實(shí)現(xiàn)神情與身體動(dòng)作的自然完美融合。

SkyReels-A1能夠?qū)崿F(xiàn)更大幅度的人物表情驅(qū)動(dòng)。在下面視頻中可以看到，相比Runway的Act-One（無法生成），SkyReels-A1可以遷移更復(fù)雜的表情動(dòng)作，生成的人物面部神情可以配合肢體及畫面內(nèi)容實(shí)現(xiàn)更栩栩如生的表演。

以開源之姿，以破局之勢(shì)，昆侖萬維致力于推動(dòng)全球AI短劇創(chuàng)作生態(tài)繁榮發(fā)展

昆侖萬維一直堅(jiān)持開源，推動(dòng)技術(shù)平權(quán)。自2023年8月23日，昆侖萬維發(fā)布國(guó)內(nèi)第一款A(yù)I搜索產(chǎn)品「天工AI搜索」以來，持續(xù)開源大模型回饋開發(fā)者和行業(yè)。

早在2023年10月，昆侖萬維宣布開源百億級(jí)大語(yǔ)言模型「天工」Skywork-13B系列，并配套開源了600GB、150B Tokens的超大高質(zhì)量開源中文數(shù)據(jù)集。2024年開始，公司陸續(xù)開源了數(shù)字智能體全流程研發(fā)工具包AgentStudio、「天工大模型3.0」4000億參數(shù)MoE超級(jí)模型、2千億稀疏大模型Skywork-MoE、Skywork-o1-Open等模型。

視頻生成模型是整個(gè)AI短劇創(chuàng)作當(dāng)中最難的一個(gè)環(huán)節(jié)，盡管過去一年行業(yè)內(nèi)的模型生成能力已有大幅提升，但還遠(yuǎn)遠(yuǎn)不夠，同時(shí)還面臨視頻生成成本高的問題。

昆侖萬維同時(shí)將SOTA級(jí)別的SkyReels-V1和SkyReels-A1進(jìn)行開源，是AI短劇行業(yè)首例，也是昆侖萬維SkyReels回饋行業(yè)邁出的一小步，更是促進(jìn)AI短劇創(chuàng)作和視頻生成行業(yè)枝繁葉茂的一大步。

相信在進(jìn)行推理優(yōu)化的升級(jí)和可控算法的開源后，它們將為用戶帶來低成本、可控性更強(qiáng)的AIGC能力。昆侖萬維希望通過更多優(yōu)秀視頻生成模型的開源和極致的AI短劇產(chǎn)品能力，為用戶帶來低成本實(shí)現(xiàn)AI短劇創(chuàng)作的可能性、突破行業(yè)目前視頻生成一致性差的問題，讓大眾通過自己的電腦生成精細(xì)且可控的人物表演。

昆侖萬維董事長(zhǎng)兼CEO方漢表示，「AIGC能力的出現(xiàn)，包括我們現(xiàn)在做的視頻生成能力的出現(xiàn)，一定會(huì)將一部好萊塢大片質(zhì)量的電影制作成本，從現(xiàn)在的一億美金，讓其迅速下降到幾十萬美金甚至幾千美金，幾年之后幾百美金都是有可能的。這樣會(huì)讓所有語(yǔ)言的人都會(huì)用AI來創(chuàng)作屬于本民族的內(nèi)容產(chǎn)品。這樣的結(jié)果將會(huì)實(shí)現(xiàn)文化的平權(quán)，而這個(gè)紅利，很有可能是中國(guó)企業(yè)去吃到」。

此次開源的視頻大模型，不僅是一次技術(shù)突破，有助于縮小全球內(nèi)容產(chǎn)業(yè)的數(shù)字鴻溝，更是文化產(chǎn)業(yè)生產(chǎn)力的一次革命。未來，短劇與游戲、虛擬現(xiàn)實(shí)等領(lǐng)域的跨界發(fā)展，將會(huì)加速產(chǎn)業(yè)融合。AI短劇也有希望從「技術(shù)實(shí)驗(yàn)」邁向「主流創(chuàng)作」，成為全球文化輸出的新載體。

「實(shí)現(xiàn)通用人工智能，讓每個(gè)人更好地塑造和表達(dá)自我」是公司的使命，未來，昆侖萬維及SkyReels還將開源更多視頻生成模型和算法、通用模型，通過開源實(shí)現(xiàn)AGI平權(quán)，推動(dòng)AI短劇生態(tài)的持續(xù)建設(shè)和繁榮，促進(jìn)開源社區(qū)、開發(fā)生態(tài)以及AI行業(yè)的發(fā)展。