手機秒拍動畫大片,高級運鏡效果驚人!Runway兩彈更新,火得一塌糊涂
前幾天,Runway宣布更加靈活逼真的AI攝像頭控件上線,開始實現(xiàn)3D化!該功能Gen-3 Alpha Turbo視頻生成模型可用。
而就在一個多星期前,10月23日,Runway還宣布了Gen-3 Alpha的新功能Act-One。該功能可以將視頻中真人的面部表情精確復(fù)刻給AI角色。
功能雖小,但都將為動畫師、游戲開發(fā)者和電影制作人提供非常大的便利、節(jié)約巨大的成本。
在各大公司爭相卷AI視頻生成長度、逼真度、流暢度的時候,Runway顯然已經(jīng)在AI視頻賽道中走出了自己的特色——做專門服務(wù)于藝術(shù)、媒體和娛樂的AI。
正如Runway的CEO在他的博客里寫道:
「許多人犯的錯誤是將人工智能視為最終目標(biāo)。它不是。人工智能是機制,是支持更大事物的基礎(chǔ)設(shè)施。真正的革命不在于技術(shù)本身,而在于它所賦能的東西:新的表達形式、新的講故事方式、新的連接人類經(jīng)驗的方法?!?/span>
「這也是為什么純粹的人工智能公司變得過時。引人入勝的問題不再在于技術(shù)本身——而在于我們用它構(gòu)建什么。下一波創(chuàng)新不會來自專注于構(gòu)建更好模型的公司。」
「變革的浪潮將來自那些懂得如何使用這些工具創(chuàng)造新媒體形式、新體驗類型和新的講故事方式的人?;A(chǔ)設(shè)施已鋪就,基礎(chǔ)已建立?,F(xiàn)在是令人興奮的部分:用它創(chuàng)造有意義的東西。」
AI攝像頭控件
盡管其他AI視頻生成器和Runway本身之前也提供攝像頭控件,但它們相對粗糙,生成的新視頻常常顯得隨機且局限——在嘗試圍繞主體上下或四周平移時,有時會導(dǎo)致主體變形、變成二維,或者出現(xiàn)奇怪的變形和故障。
但是,現(xiàn)在有了Runway新發(fā)布的AI攝像頭控件,用戶可以任意選擇在場景中移動的方向、角度、速度,將各種相機移動方式和速度變化相結(jié)合。
水平移動的同時轉(zhuǎn)換鏡頭角度,以環(huán)繞主體形成弧線效果。
快速地穿越地點,
緩慢地在場景中移動,
快速拉遠鏡頭。
Act-One
在影視制作中,為了將真人表演轉(zhuǎn)化為適用于動畫的3D模型,傳統(tǒng)的面部動畫流程通常包含多個復(fù)雜的步驟,涉及動作捕捉、面部手動綁定等技術(shù),還需要非常多的參考視頻素材。
電影拍攝過程中,演員頭戴專用設(shè)備,臉上布滿了標(biāo)記點
而且,傳統(tǒng)方法還面臨著一大挑戰(zhàn)——如何將參考視頻中的情感、微表情完整復(fù)制到數(shù)字角色中。
現(xiàn)在,用Act-One,一個視頻就可以。
甚至,一段用普通手機拍攝的視頻,都能為AI生成的角色賦予生動逼真的表情。眼神、微表情、節(jié)奏和表演的呈現(xiàn)都在最終生成的輸出中得以精準(zhǔn)還原。
Act-One支持生成的角色類型還很多樣。一段視頻可以生成好幾種畫風(fēng)不同的人物角色。
列舉的案例中,還有生成動物動畫角色的,感覺可以直接上演「瘋狂動物城」了!
現(xiàn)就職于Runway的Jimei Yang在X上發(fā)布了一個用Act-One生成的經(jīng)典場景復(fù)刻,重現(xiàn)了《指環(huán)王》中咕嚕的「nobody likes you」臺詞。
在不同的視覺角度下,用Act-One生成的人物視頻依然具有高度穩(wěn)定性,保持著高保真的面部動畫。不會因為視角、光線等因素的變化而產(chǎn)生質(zhì)量波動或失真。
Act-One還可以創(chuàng)建多輪對話場景。毫不夸張地說,只要有攝像機,一個人,就可以演一臺戲!
單人錄制過程
成品視頻