Sora/可靈/海螺/混元等大PK!多場景對比,現(xiàn)在誰是最強視頻生成模型?
OpenAI的正式版Sora終于上線了!
不過,在Sora缺席的10個月里,Runway、可靈、海螺、混元等等模型都橫空出世,有的甚至都卷出了自己的特色風(fēng)格和功能,比如Runway的多幀修改、可靈生成的表情更加自然、海螺的二次元風(fēng)格等等。
接下來我們就來一起看看,Sora和這些模型的對比效果究竟如何吧!
Round1:對比Runway
Runway是美國目前最受歡迎的視頻生成模型之一,很多創(chuàng)作者已經(jīng)用它來進行視頻生產(chǎn)了。
下面我們就一起來看看3個Runway Gen3與Sora的對比
場景一:羅馬教堂風(fēng)的視頻
先讓兩個模型都生成一些羅馬教堂風(fēng)的視頻,可以看出來兩個模型的重點不太一樣,Sora生成了一個會議的場景,而Runway生成的視頻更類似于節(jié)日聚會。
場景二:生成人物行走視頻
這次生成的是一個男人穿著圣誕衣服在冬天的雪地里行走,兩個模型的生成效果都很不錯,Sora生成的更有故事感一些,還有背景變換和鏡頭切換。
場景三:根據(jù)輸入的靴子圖片自動生成視頻
這次Sora的表現(xiàn)就出現(xiàn)了一些反常識的現(xiàn)象,從靜止的靴子里面又出現(xiàn)了另一雙走動的靴子,Runway生成的效果就好多了。
有網(wǎng)友看完也是立馬銳評到:看起來OpenAI是用UI設(shè)計來彌補模型效果不佳。
Round2:對比可靈
對比完兩個外國模型,把我們國產(chǎn)模型也拉出來比劃一下!
首先請出的是非常受歡迎的可靈模型,不僅是這次效果對比中有很多網(wǎng)友都用到了它,在過去的幾個月中可靈也收獲了很多用戶。
場景一:Sora VS 可靈 VS Runway
金毛狗狗在美術(shù)館中奔跑(Sora展示的官方場景之一)
三個模型在光影處理、動物毛發(fā)光澤和運動姿態(tài)方面處理得都很優(yōu)秀,這一局有點難分上下,評論區(qū)里面喜歡Sora和可靈的都有。
場景二:Sora VS 可靈
根據(jù)輸入的圖片生成視頻,沒有提示詞。
可靈生成的視頻看起來似乎動作更加流暢一些,不過Sora的畫面切換也是很有蒙太奇的感覺。
Round3:對比海螺、混元
國產(chǎn)模型還有更多選手申請出戰(zhàn)!
接下來有請海螺模型和混元模型上場。海螺自從推出以來就一直在VBench榜單上名列前茅,混元模型雖然開源不久,但是也有很多藝術(shù)家都進行了創(chuàng)作嘗試。
下面一起看看他們的表現(xiàn):
場景一:Sora VS 可靈 VS 海螺,圖生視頻
這道題就是一個非??简?zāi)P拖胂罅Φ念}目了,同樣是圖生視頻,三個模型根據(jù)一個人站在金字塔下的身影進行視頻生成。Sora和可靈的主題都比較偏向“末世”的感覺,海螺有點“異世界”戰(zhàn)斗即視感。
場景二:Sora VS Runway VS 可靈 VS 海螺
輸入是“維京演員的情感表現(xiàn),攝像機推進至演員皺眉的臉部”。
Sora生成的視頻中還有拍攝演員的視角變化,很有趣。可靈和海螺在處理面部表情時更加自然。
場景三:Sora VS 可靈 VS 混元
再來看看最后一個測試,讓模型們幻想月球上面宇航員的活動。
可以看出來,每個模型都有自己的偏好,Sora的視頻鏡頭變化更多、可靈的場景更加細(xì)致、混元的更有故事感。
Round4:視頻忠誠一致性檢測
網(wǎng)友Shaun Ralston還用自己的貓貓測試了一下Sora生成視頻中物體的一致性。
首先來看看他的真貓寫真:
下面都是Sora根據(jù)輸入的圖像生成的AI貓貓圖像,看起來基本上和真實的貓差別不大,而且視頻中的動作也非常自然。
One More Thing
Sora正式版推出之后,大家最關(guān)心的除了效果可能就是價格了。
目前Sora只向Plus會員(每月20刀)和Pro會員(每月200刀)開放。具體來看,Plus會員每月最多可生成50支視頻,720p分辨率最多生成5秒,480p分辨率可以生成10s。Pro會員每月可生成500支視頻,支持1080p、20s、同時生成5個視頻,還支持無水印下載。
但是,獨立電影制作人el.cine在X上發(fā)推表示,如果你想要用包含人物的圖像來生成視頻,這個功能目前只對Pro用戶開放!