快手「可靈」再進(jìn)化!視頻續(xù)寫可達(dá)3分鐘讓全球網(wǎng)友炸鍋 精華
最近,可靈AI直接讓一位網(wǎng)友的家人群里炸鍋了……
事情是這樣的,這位網(wǎng)友的父親需要做搭橋手術(shù),為了給父親鼓舞,他便試著用可靈AI把爺爺?shù)膬蓮埨险掌€原成了視頻。
在下面這個視頻中,爺爺正在朝鮮戰(zhàn)場,擔(dān)任營指導(dǎo)員。穿越時光隧道,1950年代風(fēng)華正茂的爺爺,對著他揮了揮手。
這位網(wǎng)友把視頻發(fā)到家人群后,群里直接炸了!
下面這張黑白的合影,是全家唯有的一張全家福。
當(dāng)已經(jīng)故去的人忽然動了起來,音容笑貌一如往昔,每個人都淚目了。
家人們久久不能平靜,即使已過午夜,群里仍然不斷有消息響起。
用AI還原老照片后,全家人仿佛一起經(jīng)歷了一場尋根之旅,從長輩口述的「家史」中,每個人都獲得了更多的自我身份認(rèn)同感。
網(wǎng)友「玨哥」在他的公眾號「覺得有意思」里表示,在他看來,AI最大的意義就是成為一臺超級造夢機(jī)器:安排自己做個美夢,一覺醒來就有繼續(xù)去生活的勁頭了。
歪果仁都「饞哭了」
是的,這幾天快手可靈最新上線的圖生視頻和視頻續(xù)寫功能,不僅在國內(nèi)掀起一波試用的熱潮,還「饞哭」了一眾外國網(wǎng)友。
如今,X上已經(jīng)鋪滿了可靈生成和續(xù)寫的視頻。
比如這張著名的經(jīng)典表情包,經(jīng)過可靈的續(xù)寫后終于有了大結(jié)局!
每一步都在意料之外,但似乎又在情理之中(手動狗頭)
狗狗吃面也變得活靈活現(xiàn)。
要知道,曾經(jīng)的快手可靈一出世,就讓外國網(wǎng)友們發(fā)出心悅誠服的感嘆:效果居然比Sora還要好!
同樣是吃漢堡,可靈生成的「咬痕」就要比Sora更加逼真
一些申請到試用資格的用戶紛紛表示「真香」。而那些不能親自體驗(yàn)的國外網(wǎng)友,紛紛「跪求」幫忙生成。
可以說,可靈給全世界的開發(fā)者們,再次帶來了來自中國的億點(diǎn)點(diǎn)震撼!
作者:溫維斯Wenvis
值得一提的是,由于太過爆火,快影App截至目前已有累計(jì)超過20萬人排隊(duì)申請。
所以說,這次可靈的兩大全新功能,究竟強(qiáng)大在哪里?
圖生視頻
首先來看第一個功能——圖生視頻。
這一功能直接做到了化靜為動,讓我們從此可以按需定制視覺敘事。
可靈在文生視頻上的諸多強(qiáng)大功能,也被一一完美融入了,比如創(chuàng)造逼真的運(yùn)動場景、精確模擬物理特性、將復(fù)雜概念巧妙融合、輸出電影級畫質(zhì)、自由調(diào)節(jié)視頻縱橫比等等。
上傳一張圖片,接下來,就是奇跡出現(xiàn)的時刻。
永遠(yuǎn)面帶謎之微笑的蒙娜麗莎,竟然戴上了墨鏡,瞟向觀眾們的小眼神,更多了一絲調(diào)皮和狡黠。
prompt: 蒙娜麗莎用手戴了眼鏡
構(gòu)建復(fù)雜時空一絕
業(yè)內(nèi)都知道,模型在轉(zhuǎn)換靜態(tài)圖像為動態(tài)視頻時,如何細(xì)膩而準(zhǔn)確地實(shí)現(xiàn)大幅度運(yùn)動場景,要克服不少難點(diǎn)。
對此,可靈充分利用了基礎(chǔ)模型架構(gòu)中的3D時空聯(lián)合注意力機(jī)制,在構(gòu)建復(fù)雜時空運(yùn)動方面,表現(xiàn)令人驚嘆。
下面這個由靜圖生成的牧羊犬追球的視頻,自然流暢,效果非常絲滑。
無論是牧羊犬一下一下晃動的耳朵,還是隨風(fēng)飄揚(yáng)的毛發(fā),看起來都很符合物理規(guī)律。
prompt: 可愛的牧羊犬在奔跑,網(wǎng)球在彈跳,溫馨的氛圍
汽車在公路上飛馳的這段視頻,可靈對整體畫面的處理效果簡直堪稱廣告級大片。
不僅汽車疾速前行的姿態(tài)逼真自然,對向車道上接連不斷的車流、道路兩旁向后掠去的樹木、虛化處理的隔離帶,無不模擬出了疾馳的速度感,幾乎挑不出破綻。
prompt:汽車在公路上高速行駛,速度感,廣告片
文本指令控制視頻,女孩一鍵轉(zhuǎn)身
更厲害的是,可靈的圖生視頻模型還融入了強(qiáng)大的提示詞融合技術(shù)。
這就意味著,用戶可以對模型下達(dá)文本指令,來人為地掌控視頻中對象的動態(tài)表現(xiàn)了。
比如上傳這張女孩的照片后,普通的模型,可能會默認(rèn)增加發(fā)絲飄動、花朵搖曳、水面閃爍波紋的效果。
但在可靈中,我們可以輸入「轉(zhuǎn)身背對鏡頭」的提示詞。
模型輸出的視頻中,女孩就開始優(yōu)雅轉(zhuǎn)身,并且增添了轉(zhuǎn)身瞬間微笑、眨眼的細(xì)節(jié),顯得更加自然生動。
可靈的這個新功能,也讓我們的想象力可以充分放飛。
比如小編在看《權(quán)力的游戲》時經(jīng)常想象的一個場景——「憤怒的巨龍,漫天飛沙,奇幻風(fēng)格電影」,提示詞輸入后,幻想中的場景瞬間成真了!
巨龍昂首展翅,掀起漫天黃沙,咆哮聲震耳欲聾
這種文本與圖像意義的緊密聯(lián)動,無疑對影視制作等行業(yè)意義重大。(看來好萊塢導(dǎo)演撤掉8億美元攝影棚,的確是明智的選擇)
從此,視覺敘事可以按需定制,許多行業(yè)必將掀起新的颶風(fēng)。
此外,這個模型還能支持不同風(fēng)格的圖像輸入,無論自然寫實(shí),還是風(fēng)格化圖像。
同時,它還兼容各種長寬比的圖像輸入,可以說是為國內(nèi)各個短視頻平臺量身打造。
這張豎版的騎士,黑袍飛舞,光劍仙氣環(huán)繞,氛圍感瞬間拉滿
實(shí)測效果
憑AI電影《山海奇境》刷屏全網(wǎng)的制作人陳坤,半年之后用可靈的圖生視頻功能重制了一遍《山海奇鏡》的預(yù)告片。
留言區(qū)的網(wǎng)友直呼「有大片的味道」。果然AI一天,人間一年。
本文轉(zhuǎn)自新智元,作者:新智元
