AI視頻新霸主誕生！Dream Machine官宣免費(fèi)用，電影級(jí)大片全網(wǎng)玩瘋
視頻生成領(lǐng)域，又添一員猛將！
就在今天，Luma AI首發(fā)了自己的視頻生成模型Dream Machine，可以通過(guò)文字或圖片生成高質(zhì)量的逼真視頻。
更重要的是，API對(duì)全球免費(fèi)開(kāi)放！進(jìn)入官網(wǎng)后用谷歌賬號(hào)登錄即可馬上試用。
圖片
每個(gè)用戶每月有30次免費(fèi)生成的額度，但比較遺憾的是，每條視頻時(shí)長(zhǎng)只有5秒。
圖片
免費(fèi)試用的消息一出，熱情的網(wǎng)友們紛紛擠入服務(wù)器，結(jié)果發(fā)現(xiàn)Luma AI囤的算力好像不夠，于是開(kāi)始了一場(chǎng)漫長(zhǎng)的等待。
圖片
剛發(fā)布后，有些人等了2個(gè)小時(shí)還沒(méi)生成出來(lái)，Reddit社區(qū)中一片怨聲載道。
圖片
果不其然最后「真香」了，這個(gè)視頻質(zhì)量是值得等一會(huì)兒的。
圖片
接下來(lái)，看看這個(gè)「造夢(mèng)機(jī)」究竟有多瘋狂？
電影級(jí)畫(huà)質(zhì)，逼真感拉滿
官方放出的demo涵蓋了各種不同風(fēng)格和題材的視頻，能感覺(jué)到最突出的特點(diǎn)就是「電影感」拉滿。
不僅有比較好的連貫性，鏡頭的藝術(shù)感也非常不錯(cuò)。
圖片
此外，demo還單獨(dú)強(qiáng)調(diào)了一些模型能力，比如生成各種動(dòng)態(tài)以及具有表現(xiàn)力的人物。
不得不說(shuō)，Luma的審美真的在線，視頻中的小姐姐都有一種超模般的「高級(jí)美」。
圖片
下面這個(gè)黑白色調(diào)的仰拍鏡頭，人物動(dòng)作自然絲滑、一氣呵成，裙擺飛起時(shí)的幅度雖然有些夸張，但還在可接受范圍內(nèi)。
最重要的是動(dòng)作符合自然規(guī)律，沒(méi)有出現(xiàn)「手臂融化」、「膝蓋外折」這種神奇情況
圖片
下面這個(gè)demo可以讓日漫迷們淺淺興奮一下，不僅風(fēng)格對(duì)味兒，而且鏡頭很有意境，可以開(kāi)始幻想「人均新海誠(chéng)」了。
圖片
比官方demo更精彩的，是各路大神網(wǎng)友們的腦洞創(chuàng)意。
比如在人眼中嵌入一個(gè)手繪地球儀。
圖片
原本需要幾千個(gè)高斯點(diǎn)染圖的工作，一個(gè)Dream Machine就能瞬間完成了。
Sora發(fā)布時(shí)，很多人驚嘆于模型對(duì)于光影效果的理解，Dream Machine在這方面的表現(xiàn)也很不錯(cuò)。
這位網(wǎng)友用自己拍攝一張的照片作為提示，生成出來(lái)的視頻可以延續(xù)之前的光感，絲毫不會(huì)割裂。
圖片
將世界名畫(huà)《帶珍珠耳環(huán)的少女》輸入給Dream Machine，就可以讓藝術(shù)史上這位著名模特瞬間「復(fù)活」。
圖片
但是模型似乎有它自己的想法和審美，比如視頻后半段自行更改了模特的相貌和頭巾材質(zhì)，感覺(jué)從17世紀(jì)的荷蘭少女無(wú)縫銜接到21世紀(jì)T臺(tái)。
之前在視頻生成模型中很少見(jiàn)到的風(fēng)格，Luma也搞出來(lái)了。
比如下面這個(gè)demo，狠狠拿捏住了好萊塢老電影的感覺(jué)。
圖片
提示：意大利黑手黨家族站在桌子周?chē)贿叧檠┣岩贿厰?shù)黃金和金錢(qián)
但槽點(diǎn)也不是沒(méi)有，比如香煙的煙霧擴(kuò)散似乎不夠自然，而且沒(méi)有遵守提示中的「站在桌子周?chē)梗赡苁呛谑贮h老大只會(huì)坐著吧）。
專(zhuān)業(yè)創(chuàng)作者們放出的demo更加驚艷。
Reddit上放出了一段時(shí)長(zhǎng)10秒的4K視頻，作者用MidJourney生成的圖片喂給Dream Machine。
圖片
沒(méi)有經(jīng)過(guò)換臉或變速處理，一條很有質(zhì)感的預(yù)告片素材就生成出來(lái)了。
雖然主角的表情幾乎沒(méi)什么變化，但環(huán)境和皮衣質(zhì)感的渲染非常到位，五官和額頭的皺紋也比較自然。
這位創(chuàng)作者更是重量級(jí)，他借助Luma的工具生成了一條超過(guò)1分鐘的視頻，作為自己電影項(xiàng)目的宣傳片。
來(lái)欣賞大片級(jí)別的模型應(yīng)用demo——
只看視頻，你能判斷出這里面有AI模型的參與嗎？
作為勇敢擁抱AI浪潮的急先鋒，這位創(chuàng)作者不僅借助Dream Machine生成視頻，還使用Udio制作配樂(lè)，「沒(méi)有什么是比AI視頻更顛覆性的時(shí)刻了」。
圖片
https://x.com/cfryant/status/1800923904439136267
親測(cè)史密斯吃面
看了這么多demo，有比較嚴(yán)謹(jǐn)?shù)腞eddit網(wǎng)友坐不住了。模型都放出來(lái)了，應(yīng)該跑下基準(zhǔn)測(cè)試吧——
哪個(gè)好心人幫忙生成下Will Smith吃面條？
圖片
「唯一的真實(shí)基準(zhǔn)測(cè)試。」
圖片
已經(jīng)等不及的小編決定自己動(dòng)手，成果如下——
圖片
沒(méi)想到Dream Machine雖然不太愛(ài)聽(tīng)指令，但還挺有幽默感的。在其他模型中還沒(méi)見(jiàn)過(guò)因?yàn)槌圆坏矫鏃l氣成這樣的Will。
如果輸入更詳細(xì)的指令呢？
圖片
面條的形態(tài)也很自然，但手指似乎不太對(duì)勁，但更明顯的問(wèn)題是，Will吃著吃著居然變臉了。
如果直接將這張圖片輸入給模型，能否解決變臉的問(wèn)題呢？
圖片
很遺憾，似乎并沒(méi)有。
圖片
AI視頻三大王者PK
有試用者大膽宣稱，Luma是目前我們見(jiàn)到最好的模型！
畢竟Sora還沒(méi)公開(kāi)，沒(méi)有人能準(zhǔn)確評(píng)價(jià)其實(shí)力。但大家似乎都認(rèn)同，Luma的表現(xiàn)要優(yōu)于Runway和Pika。
圖片
甚至還有Luma真愛(ài)粉在推特上直抒胸臆。通過(guò)輸入相同的提示對(duì)比Pika、Runway和Dream Machine三個(gè)模型，他認(rèn)為最終還是Luma贏了。
圖片
從完整視頻中可以看到，三個(gè)模型都可以生成和渲染很高質(zhì)量的畫(huà)面。
但Luma模型之所以「電影感」更強(qiáng)，一方面是似乎有更豐富的「想象力」，能腦補(bǔ)出更多表情和動(dòng)作；
另一方面則是源于更自然的鏡頭節(jié)奏，人物的行動(dòng)速度適中，既不過(guò)快，也不過(guò)慢。
剛剛發(fā)布半天，網(wǎng)上似乎就充斥著對(duì)Dream Machine的溢美之詞，但這并不代表模型生成的視頻已經(jīng)完美無(wú)缺了。
Luma官網(wǎng)上就非常坦誠(chéng)地放出了很多有缺陷的demo，表明他們今后計(jì)劃的改進(jìn)方向。
圖片
比如剛才Will Smith吃面條的視頻中出現(xiàn)的「變形」，不僅人臉會(huì)有，跑車(chē)也會(huì)有。
更驚悚的是，在水中游泳的北極熊會(huì)突然從身后長(zhǎng)出另一個(gè)頭。
此外，其他模型存在的問(wèn)題，Dream Machine也沒(méi)能幸免，比如有時(shí)會(huì)生成錯(cuò)誤的文字，或者沒(méi)能實(shí)現(xiàn)想要的動(dòng)態(tài)效果。
而且小編在嘗試官方推薦的文本prompt時(shí)，還偶遇了模型的「精分」現(xiàn)場(chǎng)。
輸入下面這個(gè)prompt，可以得到官網(wǎng)同款的驚艷demo：
Low-angle shot of a majestic tiger prowling through a snowy landscape, leaving paw prints on the white blanket
一只雄壯的老虎在雪地中徘徊的低角度鏡頭，在白色的雪地上留下了爪印
圖片
但視頻后半段就突然畫(huà)風(fēng)一轉(zhuǎn)，不僅虎爪的形態(tài)不自然了，變臉的程度甚至達(dá)到了「驚悚」級(jí)別。
圖片
雖然有諸多不足，但是Luma能在官網(wǎng)上坦然放出缺陷demo，并放出了一系列「未完待續(xù)」的動(dòng)圖，暗示著下一步的更新很可能就在不久之后。
圖片
背后團(tuán)隊(duì)，5位華人
發(fā)布模型的同時(shí)，Luma也公布了模型開(kāi)發(fā)團(tuán)隊(duì)的名單。從名字來(lái)看，14人中應(yīng)該有5名華人成員。
圖片
其中，Alex Yu是公司聯(lián)創(chuàng)兼CTO。他畢業(yè)于加州大學(xué)伯克利分校，曾在Adobe工作，研究方向是神經(jīng)渲染和實(shí)時(shí)圖形領(lǐng)域。
圖片
Yu在2021年畢業(yè)后，就和另一位創(chuàng)始人Amit Jain創(chuàng)辦了Luma公司。
圖片
Jain在學(xué)校修讀的是物理和數(shù)學(xué)學(xué)位，曾在蘋(píng)果工作，在3D計(jì)算機(jī)視覺(jué)、機(jī)器學(xué)習(xí)、系統(tǒng)工程和深度技術(shù)產(chǎn)品方面有豐富經(jīng)驗(yàn)。
根據(jù)crunchbase的數(shù)據(jù)，Luma AI已在 3 輪融資中籌集了6730 萬(wàn)美元，最新一輪融資是今年1月9日通過(guò)的B輪融資，最新的投資方包括英偉達(dá)公司。
參考資料：
