好低調！字節(jié)Dreamina全面開放內(nèi)測了，效果夠驚艷嗎？Ta眼中的“Sora女士”原來是這樣！
字節(jié)Dreamina的內(nèi)測范圍擴大了！一個月前小編填寫過一次內(nèi)測收集問卷，當時并未拿到初始100人（據(jù)說）的名額。
圖片
但在今天上午再次申請后，下午便驚喜地發(fā)現(xiàn)已經(jīng)開通了Dreamina的文生視頻功能！
再次申請只需選擇兩個問題，一是有無AI視頻產(chǎn)品的使用經(jīng)驗，二是是否有在工作中大量使用AI視頻生成的需求。完成后就可以等待上手測試啦！想體驗的朋友們移步，點擊“視頻生成”選項即可：https://dreamina.jianying.com/ai-tool/home。
最最讓我好奇的還是：Dreamina眼中的“Sora女士”會是什么樣呢？
讓我們先來瞅瞅用“Sora女士”的prompt生成的視頻效果如何吧！
截圖來源：Sora官方視頻
prompt：一位時尚女性走在充滿溫暖發(fā)光的霓虹燈和生動城市招牌的東京街頭。她穿著一件黑色皮夾克，一條長紅裙，黑色靴子，并提著一個黑色手提包。她戴著太陽鏡，涂著紅唇膏。她自信而隨意地走著。街道潮濕而反光，形成了五彩斑斕的燈光的鏡面效果。許多行人來來往往。
太短了！這段視頻在兩分鐘內(nèi)完成了生成（PS：小編的網(wǎng)速一般）?？上д麄€視頻的時長只有3秒鐘……要知道，Sora之所以這么驚艷，很大程度上來源于視頻能堅持10s以上“不崩壞”。不過，也可以給Dreamina生成的視頻再續(xù)3秒，但那就是另外的價格了（需要開通會員，功能按鈕見下圖）。
圖片
對于視頻的第一印象就是——“Dreamina女士”真的好拽姐！如果說Sora理解的“自信而隨意”是堅毅而知性的，Dreamina則有種Z時代的叛逆和張狂在身上。
先說說Dreamina的優(yōu)點。Dreamina在提示詞的這場命題作文里拿到了所有大的得分點，例如霓虹燈街頭、皮夾克、墨鏡、紅裙紅唇等關鍵詞都抓得不錯。
但是，Dreamina的硬傷也有，還不少：
- 手指：AI生圖最難攻克的手指，在生視頻時又又又難死AI了，拿著包的那只手，手指數(shù)目一直不穩(wěn)定
- 腿部動作：兩腿的交叉不自然，看起來一直在邁右腿
- 面部：通過神情呈現(xiàn)“隨意”這一關鍵詞時，嘴唇有點“亂飛”
- 地面：地面潮濕的效果“注水”過猛，水直接流動起來了
此外，和sora視頻中清晰的出現(xiàn)了日文招牌不同，“Dreamina女士”街頭的招牌非常模糊，看起來比較像中文。此外發(fā)生手提包理解成了單肩挎包這樣的小瑕疵。
1.Dreamina女士生成全過程
Dreamina的界面友好、清晰，很容易上手。
圖片
用戶每天可以獲得免費的60積分，積分只能當天使用無法累積。每次生成視頻需要12積分，也就是可以免費做5條AI視頻（合計15s）。
圖片
Dreamina提供了文生視頻和圖片生視頻兩種模式，這里選擇文生視頻（圖生視頻測試見下一節(jié)）。
圖片
Dreamina允許用戶對運鏡類型進行控制。在OpenAI所提供的Sora女士視頻里，大部分時間鏡頭都是與人物同步移動的，所以這里選擇了保持鏡頭。
圖片
在視頻設置中，Dreamina提供了視頻比例及運動速度的調整。
圖片
在第二次實驗中，我們調整比例到豎屏的9:16，并讓“Dreamina女士”走快點。
這次視頻效果竟然明顯好了不少！雖然這次人物拎了兩只手提包，但是地面、“Dreamina女士”的面部表情和腿部動作都得到了改善。推測這是因為，剪映下的Dreamina天生具有為抖音服務的屬性，因此在豎屏視頻上做了更多的訓練。
為了繼續(xù)測測Dreamina的想象力，使用了Sora的“咖啡杯與海盜船”考題。
prompt：兩艘海盜船，在一杯咖啡中，航行時的逼真特寫視頻。
Dreamina 只生成了一搜海盜船，還有一個飄忽的人物在咖啡杯中，同時也沒有很好地展現(xiàn)航行動作?？磥砩沙F(xiàn)實的場景對于Dreamina來說還是有點難。
二、首尾幀生視頻，新意夠了實現(xiàn)還差點
圖生視頻功能的測試中依然選擇了Sora提供的蘇爾加雷角海灘圖片。
prompt：無人機視角下的大蘇爾加雷角海灘，巨浪拍打著崎嶇的懸崖。撞擊的藍色海水形成白色的浪尖，而落日的金色光芒照亮了巖石海岸。遠處的小島上有一座燈塔，綠色的灌木叢覆蓋了懸崖的邊緣。從道路陡峭下降到海灘是一種戲劇性的壯舉，懸崖邊緣突出在海面上。這是一種捕捉海岸原始美麗和太平洋海岸公路崎嶇景觀的視角。
圖生視頻功能仍然允許再輸入提示詞，不過為了考察AI是否能識別出“應該”運動的物體，這里選擇不再輸入提示。同時，這次體驗了鏡頭順時針旋轉的效果。不過在預覽中發(fā)現(xiàn)，目前Dreamina只支持平面的旋轉效果（無法實現(xiàn)Sora這支視頻向縱深旋轉的效果）。
圖片
在無提示下，Dreamina也能很好地get到我們想要的海浪生成效果。美中不足的是，近處與遠處的海水流動方向并不一致。
另外，我們還發(fā)現(xiàn)Dreamina有一個很獨特的首尾幀功能！好家伙，以后的動畫，豈不是開局一張圖、結局一張圖中間全部靠AI?
圖片
我們使用兩張截圖，嘗試對Sora的“小怪物”視頻進行復刻。
prompt：
圖片
看起來創(chuàng)新又好用的功能結果有點不盡如人意！最該動的手掌偏偏紋絲不動，明明首尾幀中的手掌位置和形態(tài)都變化了，且也有提示詞強調。
這次生成的效果可以說離譜。小怪物張開嘴巴凝視火焰，被生成出嘴巴噴火的狀態(tài)。同時，由于提示詞不嚴謹?shù)貙懗闪恕把婊稹?，所以Dreamina干脆就在蠟燭上飛了個煙花出來。這個事情告訴我們提示詞必須要嚴謹，連斷句也要仔細推敲，盡量寫得非常直白易懂。
看來，視頻生成模型真的不太懂物理世界，但是這又很貼合怪物世界……唉。
3.寫在最后
在搜索Dreamina時，我們經(jīng)?？吹健皬同F(xiàn)Sora”“不輸Sora”等評價。
但客觀來說，這些評價多少有點“偏袒自家孩子”的意思了。即使從3秒視頻的效果來看，我們也能看出Dreamina與Sora之間還存在著相當?shù)牟罹唷?/p>
即使有諸多不足，但在試用Dreamina的過程中我仍然覺得非常興奮，既有接觸新技術的新奇，也有對國內(nèi)技術者的敬意。在視頻生成技術落后OpenAI一兩年，并且被算力“卡脖子”的背景下，字節(jié)仍然這么迅速地動作，并通過廣泛的內(nèi)測讓我們看到了視頻生成在短期內(nèi)To C的可能。這是非常有勇氣的、令人鼓舞的決定。
在Sora官方進駐Tik Tok時，AI視頻生成工具會不會取代現(xiàn)在的短視頻平臺一度成為熱議的話題。
而字節(jié)能依托現(xiàn)有的產(chǎn)品矩陣，“降大任”于剪映，讓我們看到了一家中國互聯(lián)網(wǎng)巨頭的勃勃野心與強大的生命力——平臺和工具，字節(jié)跳動都要。
??http://www.scjtxx.cn/aigc/??
本文轉載自 ??51CTO技術棧??，作者：伊風
