厲害了!Adobe新出Firefly視頻模型,2分鐘速成高清大片
在 Sora 加入 Adobe 全家桶數(shù)月后,Adobe 終于推出了自己的視頻生成模型。
隨著大家對新鮮、短視頻內(nèi)容的需求不斷增長,編輯、電影制作人和內(nèi)容創(chuàng)作者被要求在更短的時(shí)間內(nèi)創(chuàng)作出更好的作品。如今,編輯不僅要剪輯圖片,還要進(jìn)行色彩校正、動(dòng)畫渲染、音頻混合等,這些內(nèi)容大大增加了工作時(shí)間。
剛剛,Adobe 宣布推出 Firefly 視頻模型。Adobe 旨在利用 AI 強(qiáng)大的功能幫助視頻內(nèi)容創(chuàng)作者擴(kuò)展他們的創(chuàng)意,在客戶要求的時(shí)間內(nèi)提供高質(zhì)量的成果。
在官方博客中,Adobe 進(jìn)行了一系列 Demo 展示,從提示到成片生成時(shí)間不到 2 分鐘。舉例來說:
提示:日落時(shí)分,雪林中馴鹿的特寫鏡頭和細(xì)節(jié)肖像。燈光如電影般絢爛、柔和,如陽光般明媚,金色背光,夢幻般的散景和鏡頭光暈。色彩等級如電影般神奇。
提示:慢動(dòng)作拍攝熾熱的火山景觀,熔巖從火山口噴涌而出。攝像機(jī)飛過熔巖,熔巖濺到鏡頭上。燈光具有電影感。色彩等級也具有電影感、戲劇性和高對比度。
提示:用羊毛和毛氈制成的微型可愛怪物正在跳舞,3D 渲染,柔和的燈光,夢幻般的散景,電影感。
提示:無人機(jī)上的攝像機(jī)飛過沙漠的鏡頭,風(fēng)吹過沙丘,下面的沙子形成波浪。
如果你需要更多補(bǔ)充畫面, 以填補(bǔ)時(shí)間線上的空白 ,F(xiàn)irefly 視頻模型也能幫你完成。舉例來說
原始素材為:
下面是根據(jù)提示生成的新片段,提示語為:透過大紅色放大鏡觀察白色蒲公英,特寫。
Firefly Video 模型還能將視頻序列進(jìn)行組合:
Firefly Video 模型還能進(jìn)行相機(jī)控制,如角度、運(yùn)動(dòng)和縮放,從而創(chuàng)建完美的拍攝視角。
提示:無人機(jī)在日落黃金時(shí)段拍攝雪林樹木之間的場景。燈光如電影般絢爛、柔和、陽光般明媚,金色背光、夢幻般的散景和鏡頭光暈。色彩等級如電影般神奇。
Firefly 視頻模型還適用于動(dòng)畫制作、特效合成。例如,給一段街舞視頻添加火焰特效:
在制作動(dòng)畫方面,例如給定提示:手繪簡單的線條藝術(shù),一個(gè)小孩子仰望太空,臉上帶著奇妙的表情。
再比如,給定提示:月亮上可愛的奶酪球在微笑,3D 渲染,octane,柔和的燈光,夢幻般的散景,背景中浮光閃閃:
有時(shí)給定提示要求生成包含易讀文本的高質(zhì)量視頻,這需要 Firefly 視頻模型具備較高的「文本渲染」能力。例如,水濺和結(jié)冰的宏觀細(xì)節(jié)鏡頭,拼寫出「ICE」一詞:
今年晚些時(shí)候,Generative Extend 將在 Premiere Pro(測試版)中推出,將讓用戶可以擴(kuò)展剪輯以覆蓋素材中的間隙、平滑過渡或延長鏡頭時(shí)間,來實(shí)現(xiàn)完美的定時(shí)編輯。
例如,剪輯師可以在 Premiere Pro 中使用由 Adobe Firefly 視頻模型提供支持的 Generative Extend 來延長鏡頭的保留時(shí)間,以匹配音頻的漸強(qiáng)。
Adobe 于 2023 年 3 月首次推出 Adobe Firefly。作為營銷 SaaS 巨頭,Adobe 推出的 Firefly 系列模型為用戶打消了內(nèi)容版權(quán)、隱私安全方面的疑慮。
Adobe 表示:Firefly 視頻模型的設(shè)計(jì)具有商業(yè)安全性,并且僅針對 Adobe 有權(quán)使用的內(nèi)容進(jìn)行訓(xùn)練,而絕不會針對 Adobe 用戶的內(nèi)容進(jìn)行訓(xùn)練。