Stability AI又放大招！

現(xiàn)在，Stable Diffusion也能生成視頻了。AI屆，實在是太卷了。

昨天，Stability AI發(fā)布了一款專為藝術(shù)家和開發(fā)人員設(shè)計的工具——Stable Animation SDK。用戶可以通過多種方式創(chuàng)建令人驚嘆的動畫效果。

此前，Runway的Gen-2就相當炸裂，宣傳詞非常霸氣——「say it，see it」。

現(xiàn)在，Stability AI也有比肩Gen-2的視頻生成工具了！

Stable Diffusion能做視頻了

借助Stability AI的動畫端點，美術(shù)師可以使用所有Stable Difusion模型來生成動畫，包括Stable Diffusion 2.0和Stable Diffusion XL。

不過，有別于之前發(fā)布的開源模型，Stable Animation目前僅能通過SDK和付費API使用。

現(xiàn)在，用這三種方式，都可以創(chuàng)建動畫了——

• 經(jīng)典的prompt

就像使用Stable Diffusion、Midjourney或DALL-E 2一樣，用文本生成動畫。

輸入prompt，調(diào)整各種參數(shù)，就能生成動畫。

• prompt+圖像

提供一個初始圖像，作為動畫的基礎(chǔ)。之后，結(jié)合prompt和這個初始圖像，就能生成最終輸出的動畫。

• prompt+視頻

提供一個初始視頻，作為動畫的基礎(chǔ)。同樣，通過各種參數(shù)的調(diào)整，外加prompt的引導，最終得到輸出的動畫。

1塊錢，就能生成100幀動畫

該軟件似乎仍處于測試階段。Stability AI并沒有通過他們的瀏覽器平臺（如DreamStudio或ClipDrop）提供，而是僅提供軟件開發(fā)套件（SDK）和付費API。

當然，這并不妨礙第三方通過服務(wù)提供這種動畫模型。

不過，目前想試用這個功能的話，門檻還比較高，因為SDK和API要通過Python腳本來調(diào)用。

與Stability AI的圖像模型類似，Stable Animation也可以設(shè)置許多參數(shù)，例如step、sampler、scale或seed。此外，還提供了諸如outpainting或prompt interpolation等功能。

不同的參數(shù)也會影響價格。所以創(chuàng)建一個視頻要花費多少錢，并不確定。

Stability給出的報價范圍是，在不同設(shè)置下，每100幀的價格從3美分到18美分不等。

Stability AI以輸出動畫的積分值作為收費的依據(jù)，用戶生成的動畫會被換算成一個積分，每1000個積分消耗1美元。

小編算了一下，根據(jù)官方公布的積分計算方法，一塊錢人民幣大概能生成一段100幀的1024*1024分辨率的動畫。

但是其他的參數(shù)也會影響價格，官方給了一個表來說明支持調(diào)整的參數(shù)，以及是否會影響到生成動畫的價格。

與Stable Diffuision XL兼容

Stable Animation可以與每個版本的Stable Diffusion結(jié)合使用。

它的默認版本是1.5，但我們也可以選擇使用新版的Stable Diffusion XL。

里面有很多樣板，包括動漫、漫畫書、低多邊形、像素藝術(shù)。

原始分辨率是512 x 512像素，可以增加到1,024 x 1,024像素。此外，可以使用升頻器。

Stable Animation的默認值是72 幀（12幀每秒），但根據(jù)說明，它可以增加到無窮大。

此前，Stability AI就已經(jīng)有了基于Stable Diffusion的動畫工具，比如，我們可以通過prompt interpolation（不斷改變prompt的某些屬性）生成一小段動圖。

這次的升級的不同之處在于，table Animation生成視頻的能力更全面、更成熟。

雖然現(xiàn)在，AI還沒進化到讓我們按個按鈕就能生成電影，但Stable Animation、Runway ML、Phenaki、Imagen Video等模型的超強進化，已經(jīng)預(yù)示了視覺生成AI的視頻生成功能，會越來越驚艷。

網(wǎng)友實測

Stable Animation一發(fā)布，網(wǎng)友們就按捺不住自己渴望嘗試的小手。

比如，npaka就分享了自己的使用體驗。

首先，將DreamStudio的API密鑰設(shè)置為本機的環(huán)境變量。

然后，準備Python虛擬環(huán)境，并安裝stability_sdk并啟動Animation GUI。

$ pip install 'stability_sdk[anim_ui]' 
$ python -m stability_sdk animate --gui

Running on local URL:  http://127.0.0.1:7860

用瀏覽器打開顯示的網(wǎng)址后，就可以在「Project」選項卡中創(chuàng)建項目了。

在「Render」選項卡中設(shè)置文本提示，然后按「Render」按鈕。

最后，動畫就做好啦。

此外，還有一些網(wǎng)友也分享了自己的作品。

AI離生成電影還有多遠

AI生成視頻的功能如此強大，已經(jīng)有網(wǎng)友打算投資AI動畫工作室了。

這位表示，腦洞已準備好，就等一個用戶友好的動畫工具了。

網(wǎng)友們的暢想并不遙遠，最近，Wes Anderson的《指環(huán)王》的新預(yù)告片中，就用到了不少AI工具。

，時長01:30

OpenAI前AI主管Andrej Karpathy猜測，這部預(yù)告片中至少用到了Midjourney/Stable Diffusion、ControlNet、 ElevenLabs、D-Id、ChatGPT、Adobe等工具。

看來，AI視覺工具再這么進化下去，取代好萊塢大導不會太遠了。

參考資料：

https://stability.ai/blog/stable-animation-sdk

https://twitter.com/StabilityAI/status/1656691563995512834

https://the-decoder.com/stable-animation-stability-ai-makes-images-move/