出品 | 51CTO技術(shù)棧（微信號(hào)：blog51cto）
字節(jié)Dreamina的內(nèi)測(cè)范圍擴(kuò)大了！一個(gè)月前小編填寫(xiě)過(guò)一次內(nèi)測(cè)收集問(wèn)卷，當(dāng)時(shí)并未拿到初始100人（據(jù)說(shuō)）的名額。
圖片
但在今天上午再次申請(qǐng)后，下午便驚喜地發(fā)現(xiàn)已經(jīng)開(kāi)通了Dreamina的文生視頻功能！
再次申請(qǐng)只需選擇兩個(gè)問(wèn)題，一是有無(wú)AI視頻產(chǎn)品的使用經(jīng)驗(yàn)，二是是否有在工作中大量使用AI視頻生成的需求。完成后就可以等待上手測(cè)試?yán)?！想體驗(yàn)的朋友們移步，點(diǎn)擊“視頻生成”選項(xiàng)即可：https://dreamina.jianying.com/ai-tool/home。
最最讓我好奇的還是：Dreamina眼中的“Sora女士”會(huì)是什么樣呢？
讓我們先來(lái)瞅瞅用“Sora女士”的prompt生成的視頻效果如何吧！
截圖來(lái)源：Sora官方視頻
prompt：一位時(shí)尚女性走在充滿(mǎn)溫暖發(fā)光的霓虹燈和生動(dòng)城市招牌的東京街頭。她穿著一件黑色皮夾克，一條長(zhǎng)紅裙，黑色靴子，并提著一個(gè)黑色手提包。她戴著太陽(yáng)鏡，涂著紅唇膏。她自信而隨意地走著。街道潮濕而反光，形成了五彩斑斕的燈光的鏡面效果。許多行人來(lái)來(lái)往往。
太短了！這段視頻在兩分鐘內(nèi)完成了生成（PS：小編的網(wǎng)速一般）?？上д麄€(gè)視頻的時(shí)長(zhǎng)只有3秒鐘……要知道，Sora之所以這么驚艷，很大程度上來(lái)源于視頻能堅(jiān)持10s以上“不崩壞”。不過(guò)，也可以給Dreamina生成的視頻再續(xù)3秒，但那就是另外的價(jià)格了（需要開(kāi)通會(huì)員，功能按鈕見(jiàn)下圖）。
圖片
對(duì)于視頻的第一印象就是——“Dreamina女士”真的好拽姐！如果說(shuō)Sora理解的“自信而隨意”是堅(jiān)毅而知性的，Dreamina則有種Z時(shí)代的叛逆和張狂在身上。
先說(shuō)說(shuō)Dreamina的優(yōu)點(diǎn)。Dreamina在提示詞的這場(chǎng)命題作文里拿到了所有大的得分點(diǎn)，例如霓虹燈街頭、皮夾克、墨鏡、紅裙紅唇等關(guān)鍵詞都抓得不錯(cuò)。
但是，Dreamina的硬傷也有，還不少：
- 手指：AI生圖最難攻克的手指，在生視頻時(shí)又又又難死AI了，拿著包的那只手，手指數(shù)目一直不穩(wěn)定
- 腿部動(dòng)作：兩腿的交叉不自然，看起來(lái)一直在邁右腿
- 面部：通過(guò)神情呈現(xiàn)“隨意”這一關(guān)鍵詞時(shí)，嘴唇有點(diǎn)“亂飛”
- 地面：地面潮濕的效果“注水”過(guò)猛，水直接流動(dòng)起來(lái)了
此外，和sora視頻中清晰的出現(xiàn)了日文招牌不同，“Dreamina女士”街頭的招牌非常模糊，看起來(lái)比較像中文。此外發(fā)生手提包理解成了單肩挎包這樣的小瑕疵。
1.Dreamina女士生成全過(guò)程
Dreamina的界面友好、清晰，很容易上手。
圖片
用戶(hù)每天可以獲得免費(fèi)的60積分，積分只能當(dāng)天使用無(wú)法累積。每次生成視頻需要12積分，也就是可以免費(fèi)做5條AI視頻（合計(jì)15s）。
圖片
Dreamina提供了文生視頻和圖片生視頻兩種模式，這里選擇文生視頻（圖生視頻測(cè)試見(jiàn)下一節(jié)）。
圖片
Dreamina允許用戶(hù)對(duì)運(yùn)鏡類(lèi)型進(jìn)行控制。在OpenAI所提供的Sora女士視頻里，大部分時(shí)間鏡頭都是與人物同步移動(dòng)的，所以這里選擇了保持鏡頭。
圖片
在視頻設(shè)置中，Dreamina提供了視頻比例及運(yùn)動(dòng)速度的調(diào)整。
圖片
在第二次實(shí)驗(yàn)中，我們調(diào)整比例到豎屏的9:16，并讓“Dreamina女士”走快點(diǎn)。
這次視頻效果竟然明顯好了不少！雖然這次人物拎了兩只手提包，但是地面、“Dreamina女士”的面部表情和腿部動(dòng)作都得到了改善。推測(cè)這是因?yàn)?，剪映下的Dreamina天生具有為抖音服務(wù)的屬性，因此在豎屏視頻上做了更多的訓(xùn)練。
為了繼續(xù)測(cè)測(cè)Dreamina的想象力，使用了Sora的“咖啡杯與海盜船”考題。
prompt：兩艘海盜船，在一杯咖啡中，航行時(shí)的逼真特寫(xiě)視頻。
Dreamina 只生成了一搜海盜船，還有一個(gè)飄忽的人物在咖啡杯中，同時(shí)也沒(méi)有很好地展現(xiàn)航行動(dòng)作。看來(lái)生成超現(xiàn)實(shí)的場(chǎng)景對(duì)于Dreamina來(lái)說(shuō)還是有點(diǎn)難。
二、首尾幀生視頻，新意夠了實(shí)現(xiàn)還差點(diǎn)
圖生視頻功能的測(cè)試中依然選擇了Sora提供的蘇爾加雷角海灘圖片。
prompt：無(wú)人機(jī)視角下的大蘇爾加雷角海灘，巨浪拍打著崎嶇的懸崖。撞擊的藍(lán)色海水形成白色的浪尖，而落日的金色光芒照亮了巖石海岸。遠(yuǎn)處的小島上有一座燈塔，綠色的灌木叢覆蓋了懸崖的邊緣。從道路陡峭下降到海灘是一種戲劇性的壯舉，懸崖邊緣突出在海面上。這是一種捕捉海岸原始美麗和太平洋海岸公路崎嶇景觀的視角。
圖生視頻功能仍然允許再輸入提示詞，不過(guò)為了考察AI是否能識(shí)別出“應(yīng)該”運(yùn)動(dòng)的物體，這里選擇不再輸入提示。同時(shí)，這次體驗(yàn)了鏡頭順時(shí)針旋轉(zhuǎn)的效果。不過(guò)在預(yù)覽中發(fā)現(xiàn)，目前Dreamina只支持平面的旋轉(zhuǎn)效果（無(wú)法實(shí)現(xiàn)Sora這支視頻向縱深旋轉(zhuǎn)的效果）。
圖片
在無(wú)提示下，Dreamina也能很好地get到我們想要的海浪生成效果。美中不足的是，近處與遠(yuǎn)處的海水流動(dòng)方向并不一致。
另外，我們還發(fā)現(xiàn)Dreamina有一個(gè)很獨(dú)特的首尾幀功能！好家伙，以后的動(dòng)畫(huà)，豈不是開(kāi)局一張圖、結(jié)局一張圖中間全部靠AI?
圖片
我們使用兩張截圖，嘗試對(duì)Sora的“小怪物”視頻進(jìn)行復(fù)刻。
prompt：
圖片
看起來(lái)創(chuàng)新又好用的功能結(jié)果有點(diǎn)不盡如人意！最該動(dòng)的手掌偏偏紋絲不動(dòng)，明明首尾幀中的手掌位置和形態(tài)都變化了，且也有提示詞強(qiáng)調(diào)。
這次生成的效果可以說(shuō)離譜。小怪物張開(kāi)嘴巴凝視火焰，被生成出嘴巴噴火的狀態(tài)。同時(shí)，由于提示詞不嚴(yán)謹(jǐn)?shù)貙?xiě)成了“焰火”，所以Dreamina干脆就在蠟燭上飛了個(gè)煙花出來(lái)。這個(gè)事情告訴我們提示詞必須要嚴(yán)謹(jǐn)，連斷句也要仔細(xì)推敲，盡量寫(xiě)得非常直白易懂。
看來(lái)，視頻生成模型真的不太懂物理世界，但是這又很貼合怪物世界……唉。
3.寫(xiě)在最后
在搜索Dreamina時(shí)，我們經(jīng)?？吹健皬?fù)現(xiàn)Sora”“不輸Sora”等評(píng)價(jià)。
但客觀來(lái)說(shuō)，這些評(píng)價(jià)多少有點(diǎn)“偏袒自家孩子”的意思了。即使從3秒視頻的效果來(lái)看，我們也能看出Dreamina與Sora之間還存在著相當(dāng)?shù)牟罹唷?/p>
即使有諸多不足，但在試用Dreamina的過(guò)程中我仍然覺(jué)得非常興奮，既有接觸新技術(shù)的新奇，也有對(duì)國(guó)內(nèi)技術(shù)者的敬意。在視頻生成技術(shù)落后OpenAI一兩年，并且被算力“卡脖子”的背景下，字節(jié)仍然這么迅速地動(dòng)作，并通過(guò)廣泛的內(nèi)測(cè)讓我們看到了視頻生成在短期內(nèi)To C的可能。這是非常有勇氣的、令人鼓舞的決定。
在Sora官方進(jìn)駐Tik Tok時(shí)，AI視頻生成工具會(huì)不會(huì)取代現(xiàn)在的短視頻平臺(tái)一度成為熱議的話(huà)題。
而字節(jié)能依托現(xiàn)有的產(chǎn)品矩陣，“降大任”于剪映，讓我們看到了一家中國(guó)互聯(lián)網(wǎng)巨頭的勃勃野心與強(qiáng)大的生命力——平臺(tái)和工具，字節(jié)跳動(dòng)都要。
想了解更多AIGC的內(nèi)容，請(qǐng)?jiān)L問(wèn)：
