Sora 再不開(kāi)放使用，真的要被偷家了！

今日，舊金山初創(chuàng)公司 Luma AI 打出一手王牌，推出新一代 AI 視頻生成模型 Dream Machine。人人免費(fèi)可用。

據(jù)介紹，該模型能夠根據(jù)簡(jiǎn)單的文本描述生成高質(zhì)量、逼真視頻，效果堪比 Sora。

消息一出，大量用戶擠進(jìn)官網(wǎng)嘗鮮。

盡管官方聲稱該模型能在短短兩分鐘內(nèi)生成 120 幀視頻，但由于訪問(wèn)量激增，許多用戶在官網(wǎng)中苦苦等待數(shù)小時(shí)。

Luma 的產(chǎn)品增長(zhǎng)主管 Barkley Dai 不得不在 Discord 上發(fā)文解釋 ——

「目前我們面臨巨大的需求，正在努力提升我們的處理能力。所有視頻生成任務(wù)都會(huì)保留，只是需要在隊(duì)列中稍作等待。一旦我們?cè)黾恿颂幚砟芰?，我?huì)立刻在這里通知大家！」

Dream Machine 效果到底如何？

有網(wǎng)友表示，目前，Luma 是 AI 視頻領(lǐng)域的新王者。

還有網(wǎng)友稱，「我們不再需要 Sora ！」不知 OpenAI 看了作何感想。

不過(guò)也有網(wǎng)友吐槽，制作 8 個(gè)視頻后，系統(tǒng)提示「超出最大使用限制」，并且沒(méi)有解釋應(yīng)該等待多長(zhǎng)時(shí)間才能制作新視頻。

網(wǎng)友瘋狂整活兒

這幾天，AI 視頻圈子卷瘋了，你方唱罷我登場(chǎng)。

先是快手可靈開(kāi)啟內(nèi)測(cè)，排隊(duì)人數(shù)超過(guò) 5 萬(wàn)人，緊接著 Luma 就祭出殺手锏 Dream Machine，人人免費(fèi)可用。

與其他 AI 視頻模型相比，Dream Machine 具有以下幾個(gè)特點(diǎn)：

1. 速度快，120 秒即可生成 120 幀；

2. 動(dòng)作逼真，流暢，還融入電影級(jí)別的攝影技巧和戲劇張力；

3. 角色一致性極強(qiáng)，能夠模擬物理世界；

4. 運(yùn)鏡自然，可匹配場(chǎng)景情感。

Luma 官方和廣大網(wǎng)友們陸續(xù)整活兒，奉上了一出出精彩的視覺(jué)盛宴。

例如，這段使用文本生成的視頻，畫面是一輛汽車在馬路上狂飆。無(wú)論是行駛過(guò)程還是鏡頭轉(zhuǎn)換，絲滑逼真。

一個(gè)低至地面的攝像機(jī)，跟蹤一群小倉(cāng)鼠深入洞穴，這畫面與 Sora 的螞蟻視頻有異曲同工之妙，不過(guò)，Dream Machine  使用的是圖生視頻功能，俗稱「墊圖」。

一個(gè)身穿橙色 T 恤的光頭男人在房間內(nèi)移動(dòng)，人物的逼真程度以及畫面構(gòu)圖媲美電影大片。

這是一個(gè)廢墟場(chǎng)景拍攝鏡頭。地面上廢棄的繩子、木板以及墻面的涂鴉呈現(xiàn)地自然真實(shí)。

畫面中，一名妙齡女子揮舞裙擺跳舞，動(dòng)作行云流水，像極了奢侈品廣告大片。不過(guò)美中不足的是，裙擺、頭發(fā)會(huì)出現(xiàn)形變。

甚至有網(wǎng)友生成了一段殺手槍戰(zhàn)的動(dòng)作場(chǎng)景。

網(wǎng)友 @ai_mov_director 還用它生成一段 1 分鐘的故事片 ——「Break The Tie」，在保持人物一致性方面，Dream Machine 有兩把刷子。

除了生成逼真視頻外，Dream Machine 也可以嘗試不同風(fēng)格。

比如日本動(dòng)漫風(fēng)：

迪士尼風(fēng)格：

總體來(lái)看，Dream Machine 在視頻的逼真度、流暢度方面值得稱道，不過(guò)它并非完美。

曾為蘋果、三星、谷歌等知名品牌執(zhí)導(dǎo)過(guò)廣告的 Julien Vallee 表示，Dream Machine 能夠模仿自然攝像機(jī)動(dòng)作，特別是手持拍攝時(shí)，效果非常逼真。然而，與其他模型一樣，它也需要一些試錯(cuò)，才能生成出色的鏡頭。

文生視頻圈大亂斗

2024 年是大選之年，OpenAI 為了不惹事，一直把 Sora 藏著掖著。

當(dāng) Sora「千呼萬(wàn)喚」不出來(lái)時(shí)，對(duì)手們卻紛紛祭出大殺器來(lái)炸街。

AI 視頻領(lǐng)域風(fēng)云突變。

既然 Dream Machine、可靈都打著「對(duì)標(biāo) Sora」的旗號(hào)，那么，我們索性就搞個(gè)競(jìng)技場(chǎng)，讓 Dream Machine、可靈與 Sora 同臺(tái) PK。

Prompt 1:photorealistic closeup video of two pirate ships battling each other as they sail inside a cup of coffee.

中文提示詞 1：兩艘海盜船在一杯咖啡中航行時(shí)相互爭(zhēng)斗的逼真特寫視頻。

Sora：

Dream Machine：

可靈：

Prompt 2：Nighttime footage of hermit crabs using light bulbs as shells.

中文提示詞 2：寄居蟹用燈泡做殼的夜間鏡頭。

Sora：

Dream Machine：

可靈：

Prompt 3：macro shot of a leaf showing tiny trains moving through its veins.

中文提示詞 3：一片葉子的微距照片，顯示微小的火車在葉脈中移動(dòng)。

Sora：

Dream Machine：

可靈：

Prompt 4：A stylish woman walks down a Tokyo street filled with warm glowing neon and animated city signage. She wears a black leather jacket, a long red dress, and black boots, and carries a black purse. She wears sunglasses and red lipstick. She walks confidently and casually. The street is damp and reflective, creating a mirror effect of the colorful lights. Many pedestrians walk about.

中文提示詞 4：一個(gè)時(shí)髦的女人走在東京的街道上，到處都是溫暖的霓虹燈和生動(dòng)的城市標(biāo)志。她穿著黑色皮夾克、紅色長(zhǎng)裙、黑色靴子，拿著一個(gè)黑色錢包。她戴著太陽(yáng)鏡，涂著紅色的口紅。她走起路來(lái)自信而隨意。街道是潮濕和反光的，創(chuàng)造了一個(gè)彩色燈光的鏡子效果。許多行人走來(lái)走去。

Sora：

Dream Machine：

可靈：

Prompt 5:Archeologists discover a generic plastic chair in the desert, excavating and dusting it with great care.

中文提示詞 5：考古學(xué)家在沙漠中發(fā)現(xiàn)了一把普通的塑料椅子，他們小心翼翼地挖掘并撣去了上面的灰塵。

Sora：

Dream Machine：

可靈：

Prompt 6：a computer hacker labrador retreiver wearing a black hooded sweatshirt sitting in front of the computer with the glare of the screen emanating on the dog's face as he types very quickly.

中文提示詞 6：一只穿著黑色連帽運(yùn)動(dòng)衫的電腦黑客拉布拉多獵犬坐在電腦前，當(dāng)它快速打字時(shí)，屏幕的眩光照射在狗的臉上。

Sora:

Dream Machine：

可靈：

英偉達(dá)領(lǐng)投的這家公司什么來(lái)頭？

 Dream Machine 火了，也讓其背后的公司 Luma AI 出盡了風(fēng)頭。

Luma AI 成立于 2021 年，最初只是一家聚焦于 3D 內(nèi)容生成的技術(shù)公司。

首席執(zhí)行官 Amit Jain 曾是蘋果公司的計(jì)算機(jī)視覺(jué)系統(tǒng)工程師，首席技術(shù)官 Alex Yu 曾是加州大學(xué)伯克利分校的研究生（放棄博士學(xué)業(yè)創(chuàng)辦了 Luma AI ）。二人在 3D 視覺(jué)、機(jī)器學(xué)習(xí)、實(shí)時(shí)圖形學(xué)等領(lǐng)域都有所建樹(shù)。

據(jù)悉，這家公司已經(jīng)歷數(shù)輪融資。

A 輪融資由 Amplify Partners、Nventures（Nvidia 投資部門）和 General Catalyst 領(lǐng)投，共籌集 2000 萬(wàn)美元；B 輪融資則由硅谷頂級(jí)風(fēng)投公司 Andreessen Horowitz、英偉達(dá)領(lǐng)投，籌集 4300 萬(wàn)美元。截至目前，公司共融資 7000 多萬(wàn)美元，估值在 2 億到 3 億美元之間。

去年 11 月，Luma AI 在 Discord 服務(wù)器上推出了文生 3D 模型 Genie。后來(lái)推出 1.0 版本，把出圖時(shí)間從 20 多秒提升到了 10 秒之內(nèi)。

沒(méi)想到，這次 Luma AI 直接轉(zhuǎn)道 AI 視頻領(lǐng)域。

據(jù)官網(wǎng)顯示，Luma AI 核心團(tuán)隊(duì)僅 34 人，從名字看，有 5 人是華人。

聯(lián)合創(chuàng)始人兼首席技術(shù)官 Alex Yu，2021 年從加州大學(xué)伯克利分校畢業(yè)。期間，他在伯克利人工智能研究實(shí)驗(yàn)室與 Angjoo Kanazawa 教授一起進(jìn)行 NeRFs 研究。

同年畢業(yè)于加州大學(xué)伯克利分校的 Angela Dong，曾在 Drive.ai、Lyft Level 5 和 Zipline 等公司實(shí)習(xí)，隨后又加入 Cruise 擔(dān)任仿真工程師，專注于為感知模型訓(xùn)練創(chuàng)造合成數(shù)據(jù)。目前，她在 Luma 擔(dān)任機(jī)器學(xué)習(xí)工程師。

首席科學(xué)家 Jiaming Song 本科畢業(yè)于清華大學(xué)，碩博畢業(yè)于斯坦福大學(xué)。在加入 Luma AI 之前，他曾擔(dān)任英偉達(dá)學(xué)習(xí)和感知（Learning and Perception）研究團(tuán)隊(duì)和深度想象（Deep Imagination）研究團(tuán)隊(duì)的研究科學(xué)家。

此外，Quei-An Chen 和 Paul Yoo 在 Luma 擔(dān)任研究科學(xué)家。

（左為Quei-An Chen，右為Paul Yoo）

其中 Quei-An Chen 在 NeRF 領(lǐng)域深耕，曾因其在 Github 上發(fā)起的多個(gè)熱門開(kāi)源項(xiàng)目而聲名鵲起，比如 Neural Scene Flow Fields 和 Instant-NGP。在加入 Luma 之前，他在 DENSO 公司和 LINE 公司參與了多個(gè) 3D 視覺(jué)技術(shù)項(xiàng)目。