Adobe全面進軍AI生成領域！

就在2024年的Adobe MAX大會上，Adobe正式推出Firefly視頻模型，以及最新升級的圖像模型。

Adobe Premiere Pro加入生成式擴展

相比于一次只生成1～5秒的視頻生成模型，將GenAI的能力無縫集成到視頻編輯軟件中，無疑是最能直接提升生產力的方式。

視頻編輯——Adobe表示，你要說這個我可就不困了。

畢竟，Premiere Pro已然是最專業(yè)、應用最廣泛的視頻剪輯工具，很可能沒有之一。

剪視頻的時候，突然發(fā)現素材缺幀、色調不對、機位卡不上？基于Firefly Video模型的新功能Generative Extent，就可以免去用戶重新拍攝素材的麻煩。

Adobe表示， Generative Extend是他們推出的第一個由視頻專業(yè)人士打造，且專門服務于專業(yè)人士的Gen AI功能，并且具有可靠的商業(yè)安全性。

不僅只在Adobe有授權的內容上進行訓練，而且絕不會私自截取用戶內容作為訓練數據，可以說是穩(wěn)穩(wěn)接住了專業(yè)創(chuàng)作者的痛點。

對于視頻開頭、結尾，或者時間軸中的任何缺失部分，只需要一拖、一點，就能讓AI快速擴展，實現完美的定時編輯。

像下圖左邊這種鏡頭中不理想的視線移動，AI也可以直接自動修正。

人物的移動范圍出畫了，用AI自動調整畫面邊界，省時省力。

想要將對齊兩幅畫面的背景色調？顯然AI的眼睛要比人類更準，一鍵調色好過試色半小時。

除了畫面，音頻編輯功能也同樣強大，選擇「room tone」按鈕即可對音效進行延長或平滑操作。

比如下面這個冰山坍塌的視頻，雖然畫面只持續(xù)了3秒多，但模型可以自動「腦補」出后面將近10秒的音效，足可以以假亂真。

但目前，音頻編輯還不支持創(chuàng)建或擴展對話，而且由于潛在的版權問題，也不支持音樂。

下面這個示例就展示了，在只有音效但沒有畫面的情況下，如何使用生成式擴展功能，自動延長各個鏡頭畫面的停留時間，在匹配音效的同時補好時間軸上的大窟窿。

成品如下，用一句「天衣無縫」來形容應該是不過分的。

生成式擴展功能將在今年晚些時候的beta版Pr中上線，Adobe表示，會在用戶反饋的基礎上持續(xù)更新。

比如，對于模型每一次的生成結果，都可以一鍵「點贊」或「吐槽」。

性能方面，Pr還和英偉達進行了集成，使用RTX系列GPU加速運行，提升用戶體驗。

Adobe Firefly：開創(chuàng)視頻編輯領域GenAI新紀元

隨著互聯網內容形式的進化，視頻成為了當今時代互動社交的「硬通貨」。

面對視頻內容需求的持續(xù)增長，剪輯師、電影制作人和內容創(chuàng)作者需要在更短時間內完成更多工作的挑戰(zhàn)。

而且，視頻剪輯工作已不再局限于簡單的畫面剪切，還要包攬調色、字幕、動畫、視覺效果、混音等一系列任務。

此時，Adobe作為專業(yè)的工具集，搭上GenAI提升生產力的快車，最為合適不過。

文生視頻

首先，Firefly的文生視頻功能和Runway、Sora等視頻生成模型類似——用戶通過prompt即可生成任何自己想要的視頻。

提示：街道中央雨中男子的電影級特寫肖像。光影氛圍沉郁而富有戲劇性，色調以藍色和青色調為主。男子形象極度寫實，皮膚紋理精細，臉上點綴著細密胡茬。細微的動作柔和流暢，鏡頭保持固定。畫面呈現濃重的膠片顆粒感和質感。水珠在男子臉上緩緩滑落，清晰可見。

它可以模擬各種風格，包括逼真的實景電影效果、3D動畫，以及定格動畫。

而對于已經生成的視頻，則可以通過一套「攝像機控制」功能對其進一步細化，包括不同的攝像機角度、運動效果和拍攝距離等參數。

用攝像機控制調整生成的視頻

對于創(chuàng)作者來說，從此，視頻項目中缺鏡頭將不再是問題！

通過文本提示、攝像機控制和參考圖像，就能生成B-Roll（補充素材），輕松填補時間軸上的空白。

只要輸入詳細提示，就能生成引人入勝的插入鏡頭，完美融入最終作品中。

提示：夜晚街道中央，一位老年男子的電影級特寫和細節(jié)豐富的肖像。光線氛圍沉郁而富有戲劇性。色彩調性為藍色陰影與橙色高光的對比。主角的皮膚紋理極其逼真細膩，毛孔清晰可見。動作微妙柔和。攝像機保持靜止。膠片顆粒感。復古變形鏡頭。

即使時間軸不缺，為簡單的鏡頭自動添加更多內容也只是分分鐘的事。

比如下面這個小女孩用放大鏡看草坪的視頻：

AI可以補全出放大鏡下的畫面：

不需要補拍任何鏡頭，把AI生成畫面和原視頻剪輯在一起，就豐富了內容性和層次感：

有的制作團隊預算有限、周轉時間短，但有些創(chuàng)意構思鏡頭卻難以捕捉，或者成本昂貴。

此時，就可以用Adobe Firefly來可視化和規(guī)劃這些鏡頭，然后再進行視覺特效（VFX）制作，或者返回片場補拍。

這就大大簡化了前期和后期制作團隊之間的溝通流程。不僅提高工作效率，還能讓創(chuàng)意意圖在整個制作過程中準確傳達。

提示：在墨西哥的美麗、光線柔和的天然井中，第一人稱視角鏡頭。水清澈蔚藍，閃爍著午后陽光的光芒。色彩溫暖，陽光呈「魔幻時刻」（magic hour）風格。高質量，電影感。

Adobe從很多業(yè)內人士那里了解到，如果能填補時間線上那些留待稍后添加視覺效果的空白，將大大加快工作流。

這樣，我們就不再需要使用「在此插入鏡頭」的占位符了。

從業(yè)人員可以更輕松地表達自己的創(chuàng)意，更順暢地指導后續(xù)的視覺效果制作。

提示：電影般的無人機鏡頭，飛越廣闊的紅色火星地貌，地面在我們下方快速掠過，隨著太陽開始升起，地平線呈紅色。在鏡頭結束時，陽光照射到地平線上方。

提示：微距鏡頭拍攝一只由熔巖組成的幼龍在火山內部爬行。

而Firefly生成火焰、煙霧、灰塵顆粒、水、光斑等氛圍元素的能力，更是讓從業(yè)者非常興奮！

這種功能就大大增加了現有內容的視覺深度。

在黑色或綠色背景上生成這些元素，就意味著我們可以使用混合模式，或Adobe Premiere Pro、Adobe After Effects等工具進行摳像，將它們疊加到現有視頻上。

提示：黑色背景上的電影感漏光，有機質感，逼真。

下面這個視頻，就是在Premiere Pro中使用屏幕混合模式之后的效果。

再比如，原視頻如果是這個樣子，就顯得有些中二且抽象：

但疊加上AI生成的火焰特效：

就得到了下面這個成品視頻。AI特效不僅和原視頻搭配得很有默契，而且瞬間拉滿酷炫風格。

各種風格的動畫作品，也都可以一鍵生成。

像是2D的定格動畫：

提示：在陽光明媚的美麗廚房里，爐灶上的煎鍋中正在烹飪一個雞蛋，這是一個使用毛氈制作的定格二維動畫。

或者手繪風格的線條插畫：

提示：手繪簡單線稿，一個年輕的孩子仰望太空，臉上帶著充滿驚嘆的表情。

還有各種類型的3D動畫效果：

提示：可愛的章魚寶寶，有著迷人的眼睛，每個觸手都拿著一個茶杯，快樂地四處張望，3D渲染，Octane引擎，柔和光，夢幻般的背景虛化，淺景深，電影感。

提示：用羊毛和毛氈制成的微型可愛怪物，在一起跳舞，3D渲染，Octane引擎，柔和的燈光，夢幻的虛化，富有電影質感。

提示：「SUMMER」一詞由蓬松、彩虹色的云朵組成，漂浮在美麗山脈上方的有漩渦和柔和色彩的天空中，兩秒鐘后，「SUMMER」一詞與云朵一起消散。

在深入創(chuàng)作之前，如果能和動畫師、動作設計師溝通意圖，省去不斷迭代、尋找正確風格所花費的時間。

圖生視頻

而Firefly的圖生視頻功能中，我們除了可以使用文本提示，還能在旁邊放上參考圖像。

通過上傳單個幀，就能輕松地為現有內容創(chuàng)建補充鏡頭，比如一個特寫。

或者從靜態(tài)照片中創(chuàng)建新的B-roll，讓現有的圖像庫動起來。

提示：花朵在風中搖曳，一只美麗的蝴蝶正落在其中一朵花上。

更神奇的是，我們甚至可以改變原始鏡頭中的動作和意圖。

比如，如果視頻剪輯中有一個特定的動作，但作為剪輯師的你希望讓導演重新拍攝，這時就可以使用該功能將其可視化，在保持相同外觀的同時推動故事情節(jié)。

原片：

生成：

提示：一只戴著手套的宇航員的手進入畫面，拔掉了黃色電纜的其中一根。電影感。

提示的使用

Firefly模型能夠實現豐富的鏡頭控制，比如鏡頭遠近（包括特寫、中景、遠景等）、角度和相機運動，以達到更精確的生成。

Firefly的這種專業(yè)特性，也就對用戶輸入的prompt提出了更高的要求。

從Adobe給出的官方demo來看，提示基本都相當詳細；官方博客給出的建議也有這樣一句話：提示越詳細越好！

圖生視頻時可以僅描述畫面的語義信息，但文生視頻的prompt中基本都會包括光線、景別、鏡頭焦距、拍攝角度和機位、畫面色彩與質感等十分細致深入的描述，才能指引模型生成出用戶腦海中的畫面。

Adobe建議的提示模板和具體建議如下：

鏡頭類型描述 + 角色 + 動作 + 位置 + 美學風格

• 盡可能使用更多詞語來具體描述光線、攝影、色彩分級、情緒和風格
• 清晰描述，避免模糊不清
• 使用具體的動詞和副詞定義動作
• 使用大量描述性形容詞
• 包括時間元素，如一天中的時間或天氣
• 必要時加入相機運動
• 反復迭代！

反復迭代的過程中可以選擇更新提示，也可以使用同一個較為成熟的提示但更改種子值（seed），從而快速嘗試新的變化，而無需每次都從頭開始。

比如下面這個demo的提示，雖然相比之下非常簡短，但基本涵蓋了模板中提到的要素。

提示：一只紙質熊貓平靜地走過一片折紙竹林，電影感，可愛，柔焦，背景虛化。

Adobe全家桶升級，帶來史上最強Photoshop

并且，這次Adobe再次推出新功能，讓Photoshop也全面升級。

Photoshop的智能去除功能，可以讓我們清理照片中不需要的元素，比如背景中的路人，或者是突兀的電線。

它能檢測并移除這些元素，然后用AI生成的內容無縫填補。

左：原圖；右：天空中雜亂電線被AI移除，畫面簡潔清晰

當然，Photoshop中也融入了Adobe Firefly的AI功能，讓我們可以對畫面進行生成式填充和擴展。

AI功能由最新的Adobe Firefly圖像模型驅動，可以為圖像帶來前所未有的真實感和逼真度。

具體來說，在細節(jié)、光線、構圖和色彩方面，我們可以更精確地控制生成的圖像。

此外，新增的「生成相似」功能，可以讓我們得到更多樣化的圖像變體。

生成式填充

生成式拓展

生成相似內容

在Adobe Photoshop（測試版）中，還有一個新功能，就是生成式工作區(qū)。

其他AI圖像生成器只能產生有限的結果，但工作區(qū)可以讓我們同時構思多個創(chuàng)意概念，只需輸入文本提示，就能快速生成一系列圖像。

這樣，就能方便地搜索和重復之前的文本提示和圖像，生成一組圖像的同時就能開始生成下一組。