現(xiàn)階段，大模型驚人的創(chuàng)新能力持續(xù)影響著創(chuàng)意領(lǐng)域，尤其是以 Sora 為代表的視頻生成技術(shù)，更是引領(lǐng)了新一代潮流。當大家都為 Sora 感到震撼的同時，或許蘋果的這項研究也值得大家關(guān)注一下。

在一篇名為 「Keyframer: Empowering Animation Design using Large Language Models 」的研究中，來自蘋果的研究者發(fā)布了一個可以利用 LLM 生成動畫的框架 Keyframer，該框架允許用戶采用自然語言提示來創(chuàng)建靜態(tài) 2D 圖像的動畫。

論文地址：https://arxiv.org/pdf/2402.06071.pdf

具體而言，該研究結(jié)合了基于語言提示設計工件的新興設計原則和 LLM 的代碼生成能力，構(gòu)建了一個新的 AI 驅(qū)動的動畫工具 Keyframer。通過 Keyframer，用戶可以通過自然語言提示，從靜態(tài) 2D 圖像創(chuàng)建動畫插圖。借助 GPT-4，Keyframer 可以生成 CSS 動畫代碼，使輸入的 SVG（Scalable Vector Graphic）動畫化。

除此以外，Keyframer 支持用戶通過多種編輯器類型直接編輯生成的動畫。

用戶還可以通過連續(xù)提示和請求 LLM 生成的設計變體來迭代他們的設計，以在新的設計方向上進行構(gòu)思。不過，Keyframer 尚未公開。

之所以做這項研究，蘋果表示 LLM 在動畫中的應用尚未得到充分探索，并帶來了新的挑戰(zhàn)，例如用戶如何有效地用自然語言描述運動?，F(xiàn)階段雖然文生圖工具如 Dall?E 和 Midjourney 等效果出色，但動畫設計需要考慮更復雜的因素，例如時間以及協(xié)調(diào)性，這些因素很難在單個提示中全面概括。

至于這項研究的效果如何，用戶只需上傳圖像，在提示框中輸入「讓星星閃爍」之類的內(nèi)容，然后點擊生成即可。

用戶可以在一個批次中生成多個動畫設計，并在單獨的窗口中調(diào)整顏色代碼和動畫持續(xù)時間等屬性。無需任何編碼經(jīng)驗，因為 Keyframer 會自動將這些更改轉(zhuǎn)換為 CSS，代碼本身也是完全可編輯的。這種基于描述的方法比其他形式的人工智能生成動畫簡單得多，后者通常需要多個不同的應用程序和一些編碼經(jīng)驗。

Keyframer 介紹

Keyframer 是一款由 LLM 驅(qū)動的應用程序，旨在從靜態(tài)圖像創(chuàng)建動畫。Keyframer 可以充分利用 LLM 的代碼生成能力，以及靜態(tài)矢量圖（SVG）的語義結(jié)構(gòu)，從而根據(jù)用戶提供的自然語言提示生成動畫。

輸入：該系統(tǒng)提供了一個輸入?yún)^(qū)域，用戶可以在其中粘貼他們想要動畫化的 SVG 圖像代碼（SVG 是一種標準且流行的圖像格式，在插圖中因其可伸縮性及在多個平臺上的兼容性而常用）。在 Keyframer 中，SVG 的渲染顯示在代碼編輯器旁邊，以便用戶可以預覽圖像的視覺設計，如圖 2 所示，土星插圖的 SVG 代碼包含了如天空、光環(huán)等標識符。

GPT 提示：該系統(tǒng)允許用戶輸入自然語言提示來創(chuàng)建動畫。用戶可以請求單個設計（讓行星旋轉(zhuǎn)）或多個設計變體（創(chuàng)建 3 個星星閃爍的設計），之后單擊「生成動畫」按鈕開始請求。在將用戶請求傳遞給 GPT 之前，該研究會用完整的原始 SVG XML 完善其提示，并指定 LLM 響應的格式。

GPT 輸出：一旦提示請求開始，GPT 就會傳輸響應，該響應由一個或多個 CSS 片段組成，如圖 3 所示。

渲染：渲染部分包括（1）每個動畫進行可視化渲染以及由 LLM 生成的 1 句解釋（2）一系列用于修改設計的編輯器。

其中代碼編輯器使用 CodeMirror 實現(xiàn)；屬性編輯器為編輯代碼提供了特定于屬性的 UI，例如為了編輯顏色，該研究提供了一個顏色選擇器。圖 5 顯示了代碼編輯器與屬性編輯器圖示。

迭代：為了支持用戶在動畫創(chuàng)建過程 (DG1) 中進行更深入的探索，該研究還提供了一項功能，允許用戶使用提示在生成的動畫上迭代構(gòu)建。每個生成的設計下面都有一個按鈕「 + Add New Prompt 」；單擊此按鈕會在頁面底部打開一個新表單，供用戶使用新提示擴展其設計。

保存設計的側(cè)邊欄以及摘要。該系統(tǒng)允許用戶對設計加注星標進行收藏并將其添加到側(cè)邊欄，如圖 6 右側(cè)所示。此外，該系統(tǒng)還有一個摘要模式，其能隱藏所有文本編輯器并顯示動畫及其提示，使用戶能夠快速重新訪問以前的提示和設計。

實驗過程中，蘋果團隊選擇了 13 名參與者（6 名女性，7 名男性）試用 Keyframer。表 1 為參與者的一些信息及其掌握的技能。

甚至專業(yè)動作設計師「EP13」也看到了 Keyframer 擴展其能力的潛力：「我有些擔心這些工具會取代我們的工作，因為它的潛力如此之大。但細細想來，這項研究只會提高我們的技能。應該是件值得高興的事情?！?/span>

總體而言，參與者對 Keyframer 的使用體驗感到滿意。參與者給出的平均分數(shù)為 3.9 ，介于滿意 (4) 和中立 (3) 之間。參與者生成了 223 種設計。平均來看，每位參與者生成 17.2 個設計。圖 8 顯示了兩個參與者的最終動畫示例。

更多技術(shù)細節(jié)請參閱原論文。