太逼真了！Gen-3 Alpha重磅發(fā)布，Sora最強競爭對手！
6月17日晚，著名生成式AI平臺Runway在官網(wǎng)發(fā)布了，全新文生視頻模型——Gen-3 Alpha。
與Gen-2相比，Gen-3在生成視頻的質(zhì)量、色彩、飽和度、光影、文本語義還原、運鏡、動作一致性、場景切換等實現(xiàn)大幅度提升。
此外，Gen-3和Sora、可靈、Dream Machine一樣是個世界模型，具備模擬物理世界的能力。也就是說，其生成視頻的物理效果，例如，下落、碰撞、觸摸、風(fēng)吹、生長、雨水等都非常逼真。
值得一提的是，Runway的聯(lián)合創(chuàng)始人曾在今年2月25日說過，要做出比Sora更好的文生視頻，果然兌現(xiàn)了諾言。
Gen-3案例展示與解讀
雖然Gen-3還沒有正式全面公測，但已經(jīng)邀請了影視、開發(fā)等人員進行了內(nèi)測，流出來的視頻效果非常棒， 一次可以生成11秒的視頻。
下面「AIGC開放社區(qū)」選了一些非常有特色的Gen-3視頻，并為大家解讀它們到底好在哪里。
例如，一頂卷發(fā)假發(fā)和墨鏡突然落在他的頭上，一位悲傷的禿頭中年男人變得高興起來。
在這個案例中，我們可以仔細(xì)觀察他的眼睛睜開速度和嘴巴逐漸微笑的走勢，以及戴上假發(fā)、墨鏡之后，笑容發(fā)生的微妙變化，是不是看起來非常逼真。
在高速行駛的火車車窗旁,一名女子的微妙倒影，這個主要體現(xiàn)了Gen-3強大的光影能力。
火車在飛速行駛中，車窗外的霓虹燈照在女人的臉上，在她的臉頰、鼻子上都有不同層次的效果，同時她受到光的刺激后，還會自然地眨眼，這一點很人性化、很了不起。
這個在鬧市的火焰圈，也展示出了同樣的光影漸變效果。
一位年輕女子駕駛汽車的特寫鏡頭,看上去若有所思,透過雨天的車窗可以看到模糊的綠色森林。這個和上一個火車女的案例差不多，但生成的難度要大很多。
首先，要體現(xiàn)女子的表情，文本要求的是“若有所思”，Gen-3選擇使用緊閉嘴巴和不眨眼來表現(xiàn)；
其次就是透過雨天的車窗，這就需要雨點在汽車高速行駛之下表現(xiàn)出不同的雨水拍打效果。整體來看，完成的非常棒！
一個晶瑩剔透的水晶盒，有一些彩色的球掉落下來。我們觀察到，第一批掉落下來的籃球、綠球、黃球的回彈性非常好，隨著掉落的球越來越多，彈性也變得緩慢起來，這個展示的就是物理下落和碰撞等效果。
一個螞蟻從巢穴中出來的，很近的特寫鏡頭。鏡頭拉回來，露出山那邊的一個街區(qū)。這個主要體現(xiàn)了Gen-3的運鏡、場景切換的能力。
給完螞蟻特寫之后，就是一個非常大的遠(yuǎn)景運鏡，接著就要緩慢生成遠(yuǎn)處的街景，這對場景的連貫、一致性要求非常高。
空中拍攝的海洋，水中形成漩渦、不斷旋轉(zhuǎn),直到露出下面熾熱的深處。這個也是運鏡和場景切換能力。
手持跟蹤拍攝，跟蹤廢棄街道上漂浮的紅色氣球。這個展示了近大遠(yuǎn)小的物理效果，我們看到隨著氣球逐漸飄向遠(yuǎn)方，氣球正在緩慢變小但是毫無違和感；再就是光影效果，僅在10秒鐘鏡頭的光影卻發(fā)生了兩次變化，一次是短、一次是長。
一個廢舊的空倉庫，從地下冒出來一大片奇妙的綠色叢林。注意深林在出現(xiàn)的過程中發(fā)生了兩次生成變化。
第一次，草坪是平的，在馬上要見到陽光后，平的草坪立馬變成了綠色的植被，同時遮蓋住透進來的陽光。整個生長過程，基本是符合現(xiàn)實世界的規(guī)律。
世界模型的重要性
?
從上面這些案例，能體會到模擬物理世界的重要性了吧。其實，世界模型應(yīng)用最廣泛的是在汽車自動駕駛，可以幫助汽車在變化多端的環(huán)境中做出明智的決策、規(guī)劃行動。
所以，OpenAI、Runway等也希望把該技術(shù)引入到文生視頻領(lǐng)域，來增強生成視頻的質(zhì)量。
但開發(fā)特定的世界模型并不容易，首先需要對現(xiàn)實世界的動態(tài)和結(jié)構(gòu)進行精確捕捉和模擬。這涉及到物體的物理屬性，比如它們的大小、形狀和質(zhì)地，還有它們?nèi)绾坞S時間在環(huán)境中移動和變化。
例如，在自動駕駛汽車領(lǐng)域，它需要一個能夠準(zhǔn)確預(yù)測其他車輛、行人、交通信號和道路條件變化的世界模型。
物理模擬是世界模型中核心模塊之一，它允許AI模擬現(xiàn)實世界的物理定律，這對于預(yù)測物體如何運動和相互作用至關(guān)重要。例如，機器人在抓取物體時，它需要模擬物體的重量和可能的移動軌跡，以確保動作的精確和穩(wěn)定。
此外，需要大量多類型數(shù)據(jù)，包括視頻、圖片、傳感器等提供了源源不斷的環(huán)境信息。然后通過深度學(xué)習(xí)、極佳的算法從這些數(shù)據(jù)中提取特征，學(xué)習(xí)規(guī)律，模擬出能夠反映現(xiàn)實世界的模型。
世界模型不僅能體現(xiàn)當(dāng)前的狀態(tài)，其預(yù)測能力也是非常強。通過學(xué)習(xí)歷史數(shù)據(jù)和模式，模型能夠預(yù)測未來可能發(fā)生的情況，我們從視頻生成的效果就能看出這一點，例如，那個在倉庫中生長出綠色強的案例。
此外，世界模型使機器能夠與環(huán)境進行交互，實時根據(jù)環(huán)境反饋調(diào)整行為。例如，自動駕駛汽車在行駛中會不斷更新其世界模型，以反映周圍環(huán)境的最新變化，并據(jù)此做出快速而準(zhǔn)確的駕駛決策；
而文生視頻模型，可以根據(jù)文本語義提示，在生成過程中實時調(diào)整生成的內(nèi)容更好地還原文本提示。
2024——文生視頻元年
?
在今年2月，Sora席卷全球成為現(xiàn)象級產(chǎn)品時，就有網(wǎng)友問過Runway的聯(lián)合創(chuàng)始人Cristóbal Valenzuela：“幾個月后，Runway能做出與Sora類似的產(chǎn)品嗎？”
Cristóbal回答的也比較簡單直接，會比Sora更好。從Gen-3生成的效果來看，他確實沒吹牛做到了。
不少網(wǎng)友表示，Gen-3出現(xiàn)后，Sora迎來了最強競爭對手，整個文生視頻賽道的競爭也變得更加殘酷。
對Gen-3生成的視頻質(zhì)量也非常認(rèn)可，并且認(rèn)可這是文生視頻領(lǐng)域最大競爭對手之一。
僅在6月，就有三款非常強的文生視頻模型出現(xiàn)，2024簡直就是“視頻元年”。
在多個超強文生視頻模型的圍剿下，OpenAI快要失去護城河了，是時候趕緊公測Sora了。
也有人認(rèn)為，Gen-3生成的效果已經(jīng)超過了Sora，離制作電影級視頻非常近了。
今年2月16日，OpenAI發(fā)布Sora后全球科技領(lǐng)域為之震驚，極大提升了文生視頻賽道的熱度，受到了影視行業(yè)、資本市場的青睞。
僅僅4個月后，國內(nèi)快手發(fā)布的“可靈”， Luma AI發(fā)布的Dream Machine，加上今天的Gen-3 Alpha，在生成視頻的質(zhì)量、動作一致性等完全不輸Sora，將模擬世界大模型拉升到一個全新高度。
如果2023年是ChatGPT文本元年，那么2024將是文生視頻瘋狂內(nèi)卷的一年，我們期待下半年更多炸裂產(chǎn)品的出現(xiàn)。
本文轉(zhuǎn)自 AIGC開放社區(qū)，作者：AIGC開放社區(qū)
