自拍偷在线精品自拍偷,亚洲欧美中文日韩v在线观看不卡

全球首個(gè)無限時(shí)長(zhǎng)視頻生成!新擴(kuò)散模型引爆萬億市場(chǎng),電影級(jí)理解,全面開源

人工智能 新聞
昆侖萬維最新升級(jí)的SkyReels-V2作為全球首個(gè)無限時(shí)長(zhǎng)視頻生成模型,實(shí)現(xiàn)了電影級(jí)理解,并且全面開源。

不是5秒,不是10秒,更不只是1分鐘。

AI視頻生成,正式迎來無限時(shí)長(zhǎng)的時(shí)代!

來,話不多說,直接來看一部AI版《羅馬假日》

而就是這么一部小短劇片段,它的“起點(diǎn)”,僅僅就是一張照片和一句Prompt:

身著優(yōu)雅西裝的歐美男子與一位美女漫步在羅馬街頭,分享各自的生活趣事,眼神中滿是欣賞;夕陽西下,余暉灑在兩人臉上,彼此深情對(duì)視。

圖片

△視頻生成輸入的第一幀圖像

或許你會(huì)說,這不就是AI一口氣生成出來的37秒視頻嗎?

非也,非也。

它創(chuàng)作出來的方式,實(shí)則是先生成一個(gè)30秒的視頻,然后用一套“Extend(擴(kuò)展)大法”繼續(xù)去延長(zhǎng)視頻的時(shí)間。

方法就是pick剛才已經(jīng)生成的視頻,再來一句Prompt:

兩個(gè)人擁抱到了一起。

圖片

最后,在前面所有畫面人物都沒有發(fā)生變化的同時(shí),AI根據(jù)后續(xù)的Prompt,繼續(xù)擴(kuò)展了7秒鐘。

通過這種方式,如果你想繼續(xù)延長(zhǎng)視頻的情節(jié)和時(shí)長(zhǎng),只需反復(fù)上述操作即可。

這就是無限時(shí)長(zhǎng)的由來了。

而這個(gè)AI,正是昆侖萬維最新升級(jí)的SkyReels-V2。作為全球首個(gè)無限時(shí)長(zhǎng)視頻生成模型,實(shí)現(xiàn)了電影級(jí)理解,并且全面開源。

整體體驗(yàn)下來,它的特點(diǎn)可以總結(jié)為一句話——很懂拍電影。

不僅在時(shí)長(zhǎng)方面可以做到無限,對(duì)視頻內(nèi)容的連續(xù)性、鏡頭的自如切換,以及主體的一致性等等都做到了不錯(cuò)的把控。

那么昆侖萬維為什么要搞這樣的一個(gè)AI呢?

這是因?yàn)槿駻I視頻生成領(lǐng)域正面臨三大核心痛點(diǎn):

  1. 時(shí)長(zhǎng)限制:主流模型僅能生成5-10秒片段,無法滿足影視級(jí)敘事需求
  2. 專業(yè)度缺失:通用模型難以理解鏡頭語言、運(yùn)鏡邏輯等電影語法
  3. 質(zhì)量妥協(xié):提升分辨率往往犧牲運(yùn)動(dòng)流暢性,物理合理性頻遭詬病

這也正是SkyReels-V2要解決的問題。

接下來,為了把這種效果體現(xiàn)得更加明顯一些,我們繼續(xù)一波實(shí)測(cè)走起。

實(shí)測(cè)AI視頻的無限生成

這一次,我們以5秒為一個(gè)單位,一點(diǎn)一點(diǎn)地把玩一下這個(gè)無限生成模式。

先“喂”給SkyReels-V2這樣的一張靜態(tài)圖片:

圖片

然后我們先讓這張漫畫風(fēng)的圖片,按照物理規(guī)則動(dòng)起來:

保持漫畫風(fēng)格,畫面中的樹、湖面、男孩的頭發(fā),隨風(fēng)飄動(dòng)。

繼續(xù)用Prompt來擴(kuò)展后續(xù)視頻內(nèi)容:

男孩子突然發(fā)現(xiàn)魚漂和魚竿開始抖動(dòng),臉上露出驚喜的表情。

圖片

男孩立馬站起身來,雙手用力拽魚竿。

圖片

男孩身子往后退,用力拽魚竿,沒釣到魚。

圖片

就在這么5秒、5秒的擴(kuò)展之后,我們就完成了一小段動(dòng)漫的場(chǎng)景:

圖片

值得一提的是,剛才我們完整展示的2個(gè)視頻的BGM,同樣也是由昆侖萬維的音樂生成AI——Mureka來生成的哦~

除此之外,官方這次也展示了幾個(gè)不錯(cuò)的效果。

例如女生化妝的AI視頻生成:

以及水母在海洋徜徉

那么在看完效果之后,接下來的一個(gè)問題就是:如何做到的?

背后的技術(shù)也開源了

在科普SkyReels-V2技術(shù)之前,我們還應(yīng)當(dāng)先了解一下當(dāng)前視頻生成模型在技術(shù)上普遍存的問題。

歸結(jié)來看,主要分為三點(diǎn),即:

  • 通用多模態(tài)大語言模型(MLLM)難以理解專業(yè)電影語法(如鏡頭構(gòu)圖、演員表情和攝像機(jī)運(yùn)動(dòng));
  • 現(xiàn)有優(yōu)化目標(biāo)未能充分探索運(yùn)動(dòng)質(zhì)量;
  • 擴(kuò)散模型和自回歸模型各自的局限性導(dǎo)致難以兼顧視覺質(zhì)量與時(shí)間連貫性。

對(duì)此,昆侖萬維團(tuán)隊(duì)提出的SkyReels-V2,便是通過結(jié)合多模態(tài)大語言模型(MLLM)、多階段預(yù)訓(xùn)練、強(qiáng)化學(xué)習(xí)和擴(kuò)散強(qiáng)制框架,實(shí)現(xiàn)了在提示遵循度、視覺質(zhì)量、運(yùn)動(dòng)動(dòng)態(tài)和時(shí)長(zhǎng)方面的突破性進(jìn)展。

圖片

首先,SkyReels-V2的首要?jiǎng)?chuàng)新是設(shè)計(jì)了一套全面的視頻結(jié)構(gòu)化表示方法,將通用描述與專業(yè)鏡頭語言相結(jié)合。

這個(gè)系統(tǒng)包括主體描述(類型、外觀、動(dòng)作、表情、位置等)、鏡頭元數(shù)據(jù)(鏡頭類型、鏡頭角度、鏡頭位置等)、攝像機(jī)運(yùn)動(dòng)(例如推拉搖移等專業(yè)運(yùn)動(dòng)參數(shù))。

為實(shí)現(xiàn)上述專業(yè)維度的高精度標(biāo)注,研發(fā)團(tuán)隊(duì)針對(duì)性訓(xùn)練了多個(gè)專家級(jí)模型。

例如鏡頭標(biāo)注器,它可精確識(shí)別鏡頭類型、角度與位置,在測(cè)試中分別取得 82.2%、78.7% 和 93.1% 的準(zhǔn)確率。

表情標(biāo)注器則能深度解析七種基礎(chǔ)情緒及其強(qiáng)度變化,平均精度達(dá)到 85%;還有攝像機(jī)運(yùn)動(dòng)標(biāo)注器,采用6DoF坐標(biāo)參數(shù)化運(yùn)動(dòng),單類型運(yùn)動(dòng)識(shí)別準(zhǔn)確率89%。

這些專家模型與基礎(chǔ)MLLM的知識(shí)被蒸餾到統(tǒng)一的SkyCaptioner-V1模型中,最終形成了一個(gè)平均準(zhǔn)確率達(dá)76.3%的專業(yè)視頻標(biāo)注系統(tǒng),尤其在鏡頭相關(guān)字段上表現(xiàn)突出(鏡頭類型識(shí)別準(zhǔn)確率93.7%)。

圖片

除此之外,SkyReels-V2還采用一個(gè)三階段漸進(jìn)分辨率預(yù)訓(xùn)練框架:

  1. 低分辨率階段(256p):通過圖像-視頻聯(lián)合訓(xùn)練建立基礎(chǔ)生成能力
  2. 中分辨率階段(360p):應(yīng)用更復(fù)雜的數(shù)據(jù)過濾策略提升清晰度
  3. 高分辨率階段(540p):專注于視頻目標(biāo),采用更嚴(yán)格的質(zhì)量標(biāo)準(zhǔn)

訓(xùn)練中采用雙軸分桶框架(時(shí)長(zhǎng)桶×寬高比桶)和FPS歸一化技術(shù),有效處理視頻數(shù)據(jù)的時(shí)空異質(zhì)性。優(yōu)化器使用AdamW,學(xué)習(xí)率從1e-4逐步降至2e-5,確保穩(wěn)定收斂。

而針對(duì)視頻生成中常見的運(yùn)動(dòng)質(zhì)量問題(幅度不當(dāng)、主體變形、物理規(guī)律違反等),團(tuán)隊(duì)設(shè)計(jì)了半自動(dòng)偏好數(shù)據(jù)收集管道。

它包含兩種類型的數(shù)據(jù),一個(gè)是人工標(biāo)注數(shù)據(jù),由專業(yè)人員評(píng)估運(yùn)動(dòng)質(zhì)量,形成1200個(gè)視頻測(cè)試集;另一個(gè)是自動(dòng)生成數(shù)據(jù),通過漸進(jìn)失真創(chuàng)建技術(shù)模擬各種運(yùn)動(dòng)缺陷。

圖片

基于這些數(shù)據(jù),團(tuán)隊(duì)訓(xùn)練了專門的獎(jiǎng)勵(lì)模型,并應(yīng)用流匹配直接偏好優(yōu)化(Flow-DPO)技術(shù),通過三階段訓(xùn)練(每階段20k數(shù)據(jù))顯著提升了運(yùn)動(dòng)質(zhì)量。

圖片

SkyReels-V2的核心突破是擴(kuò)散強(qiáng)迫(Diffusion Forcing)技術(shù),將傳統(tǒng)擴(kuò)散模型轉(zhuǎn)化為支持無限長(zhǎng)度生成的架構(gòu)。

這個(gè)技術(shù)同樣包含三個(gè)關(guān)鍵點(diǎn)。

一是幀導(dǎo)向概率傳播(FoPP)時(shí)間步調(diào)度器,它通過動(dòng)態(tài)編程計(jì)算非遞減噪聲計(jì)劃,將組合空間從O(1e48)減少到O(1e32)。

二是自適應(yīng)差異(AD)時(shí)間步調(diào)度器,可以支持從同步擴(kuò)散(s=0)到自回歸生成(s=T)的靈活調(diào)整。

最后則是上下文因果注意力,通過推理時(shí)緩存歷史樣本的K、V特征,顯著降低計(jì)算開銷。

這一框架使模型能夠以前一視頻段的最后幾幀為條件,生成新的幀序列,理論上支持無限長(zhǎng)度擴(kuò)展。為防止誤差累積,團(tuán)隊(duì)采用輕微噪聲標(biāo)記已生成幀的穩(wěn)定化技術(shù)。

從昆侖萬維以及第三方測(cè)試結(jié)果來看,在SkyReels-Bench評(píng)估中,SkyReels-V2在指令遵循方面取得了顯著進(jìn)展,同時(shí)在保證運(yùn)動(dòng)質(zhì)量的同時(shí)不犧牲視頻的一致性效果。

ImageImage

在VBench1.0自動(dòng)化評(píng)估中,SkyReels-V2在總分(83.9%)和質(zhì)量分(84.7%)上均優(yōu)于所有對(duì)比模型,包括HunyuanVideo-13B和Wan2.1-14B。這一結(jié)果進(jìn)一步驗(yàn)證了SkyReels-V2在生成高保真、指令對(duì)齊的視頻內(nèi)容方面的強(qiáng)大能力。

ImageImage

以上便是SkyReels-V2能夠解鎖如此實(shí)力背后的關(guān)鍵技術(shù)了,并且已經(jīng)全部開源。

AI重塑內(nèi)容生產(chǎn)

在解讀完技術(shù)之后,我們還有個(gè)話題值得聊一聊——SkyReels-V2的問世,意味著什么?

歸結(jié)為一句話,或許就是:

正在重塑、改寫創(chuàng)意內(nèi)容產(chǎn)業(yè)的DNA。

SkyReels-V2展現(xiàn)的不僅是技術(shù)能力,更是一種新型創(chuàng)作哲學(xué)的雛形。

當(dāng)AI能夠理解并執(zhí)行“日落時(shí)分的海灘漫步”這樣的抽象指令,并自主處理鏡頭運(yùn)動(dòng)、場(chǎng)景過渡等專業(yè)細(xì)節(jié)時(shí),人類的角色正在從執(zhí)行者轉(zhuǎn)變?yōu)?/span>“創(chuàng)意導(dǎo)演”——專注于概念構(gòu)思與審美判斷等高層次創(chuàng)造活動(dòng)。

這種人機(jī)協(xié)作模式指向了一個(gè)更為深刻的變革:藝術(shù)創(chuàng)作的重心從技藝展示轉(zhuǎn)向思想表達(dá)。

創(chuàng)作者可以將更多精力投入敘事結(jié)構(gòu)、情感傳遞和概念創(chuàng)新等真正體現(xiàn)人類獨(dú)特性的領(lǐng)域,而將技術(shù)實(shí)現(xiàn)交由AI處理。

這或許正是文藝復(fù)興時(shí)期“藝術(shù)家作為思想家”理想在數(shù)字時(shí)代的全新詮釋。

而目光聚焦于昆侖萬維本身,可以說它再一次走到了生成式AI大浪潮的前面:不僅有技術(shù),還有產(chǎn)品,更是做到了全面開源。

據(jù)高盛預(yù)測(cè),到2027年AI生成視頻市場(chǎng)規(guī)模將突破萬億美元,而昆侖萬維SkyReels-V2的橫空出世,正以“無限時(shí)長(zhǎng)+電影級(jí)質(zhì)量+精準(zhǔn)控制”三位一體的突破性技術(shù),率先打開這片藍(lán)海市場(chǎng)!

至于SkyReels-V2及其后繼技術(shù)將如何繼續(xù)改寫創(chuàng)意產(chǎn)業(yè)的DNA,取決于我們?nèi)绾我灾腔叟c遠(yuǎn)見引導(dǎo)這場(chǎng)變革。

不過可以肯定的一點(diǎn)是,當(dāng)技術(shù)最終成功隱入創(chuàng)作的背景,成為思維的自然延伸時(shí),人類講故事的方式,以及通過故事理解世界的方式,都將發(fā)生我們今日難以想象的深刻轉(zhuǎn)變。

最后,體驗(yàn)地址放下面了,感興趣的小伙伴快去嘗鮮吧~

SkyReels官網(wǎng)地址:
https://www.skyreels.ai/home

GitHub地址:
[1]https://github.com/SkyworkAI/SkyReels-V2
[2]https://github.com/SkyworkAI/SkyReels-A2

HuggingFace地址:
[1]https://huggingface.co/collections/Skywork/skyreels-v2-6801b1b93df627d441d0d0d9
[2]https://huggingface.co/Skywork/SkyReels-A2

論文地址:
[1]https://arxiv.org/abs/2504.13074
[2]https://arxiv.org/pdf/2504.02436

責(zé)任編輯:張燕妮 來源: 量子位
相關(guān)推薦

2025-04-22 15:34:08

視頻生成AI

2023-04-03 10:04:44

開源模型

2023-08-15 08:36:20

ChatGPT模型

2023-10-11 12:32:26

模型訓(xùn)練

2024-12-12 08:35:58

2023-10-23 12:43:05

模型訓(xùn)練

2024-11-04 14:40:00

AI視頻生成

2023-10-14 13:06:11

AI視頻

2025-02-18 13:52:02

2023-12-20 15:26:13

AI谷歌

2024-10-22 09:40:00

模型生成

2025-03-27 09:24:16

2024-09-10 11:21:30

2023-12-13 13:49:00

模型訓(xùn)練

2023-12-20 14:54:29

谷歌Gen-2視頻

2020-04-09 16:02:25

5G智慧交通基礎(chǔ)設(shè)施

2012-04-09 21:30:02

蘋果
點(diǎn)贊
收藏

51CTO技術(shù)棧公眾號(hào)