阿里提出了一種基于文本描述生成多樣化2D卡通角色的新方法Textoon， Textoon利用先進(jìn)的語(yǔ)言和視覺(jué)模型，能夠在短短一分鐘內(nèi)生成豐富多彩、可交互的Live2D格式角色。這種方法不僅提高了生成效率，還降低了對(duì)計(jì)算資源的需求，使得2D卡通角色的創(chuàng)作更加便捷和高效。

Textoon：根據(jù)文本描述生成生動(dòng)的 2D 卡通人物

相關(guān)鏈接

• 論文：http://arxiv.org/abs/2501.10020v1
• 主頁(yè)：https://human3daigc.github.io/Textoon_webpage/
• 視頻：https://youtu.be/cA0yNZwyGTo

論文介紹

2D 卡通風(fēng)格是數(shù)字角色創(chuàng)作中一種重要的藝術(shù)形式，尤其受到年輕觀眾的歡迎。雖然數(shù)字人技術(shù)的進(jìn)步促進(jìn)了對(duì)逼真的數(shù)字人和 3D 角色的廣泛研究，但交互式 2D 卡通角色受到的關(guān)注相對(duì)較少。與需要復(fù)雜構(gòu)造和資源密集型渲染的 3D 卡通角色不同，廣泛使用的 2D 卡通角色格式 Live2D 提供了一種更高效的替代方案，它允許以模擬 3D 運(yùn)動(dòng)的方式為 2D 角色制作動(dòng)畫，而無(wú)需構(gòu)建完整的 3D 模型。此外，Live2D 采用輕量級(jí) HTML5 (H5) 渲染，提高了可訪問(wèn)性和效率。

論文提出的Textoon是一種基于文本描述以 Live2D 格式生成各種 2D 卡通角色的創(chuàng)新方法。Textoon 利用尖端的語(yǔ)言和視覺(jué)模型來(lái)理解文本意圖并生成 2D 外觀，能夠在一分鐘內(nèi)創(chuàng)建各種令人驚嘆且具有交互性的 2D 角色。

方法

Textoon 概述。該框架利用經(jīng)過(guò)微調(diào)的 LLM 從用戶輸入的文本中準(zhǔn)確提取組件描述詞，使用相應(yīng)的組件控制 2D 動(dòng)畫角色的外觀生成。它允許用戶重新編輯細(xì)節(jié)，并使用組件將生成的圖像提取并補(bǔ)全為 Live2D 模型紋理。生成的 Live2D 模型多樣且與原始動(dòng)畫兼容。

不同層的網(wǎng)格

拆分模型組件，可以利用較大的元素來(lái)創(chuàng)建短的變體使用經(jīng)過(guò)微調(diào)的 LLM 解析復(fù)雜輸入文本中的組件類別

結(jié)果

模板模型中各個(gè)組件的劃分

支持 ARKit 口型同步駕駛的 Live2D 模型

生成的Live2D模型整體動(dòng)畫效果

創(chuàng)建的 Live2D 卡通人物示例及其相應(yīng)的文本提示

結(jié)論

Textoon是第一種從文本描述生成各種 Live2D 卡通人物的方法。通過(guò)利用尖端的語(yǔ)言和視覺(jué)模型，Textoon 可以在不到一分鐘的時(shí)間內(nèi)快速創(chuàng)建各種令人驚嘆且具有交互性的 2D 人物。還集成了與 ARKit 兼容的面部混合形狀，增強(qiáng)了嘴部運(yùn)動(dòng)以實(shí)現(xiàn)更具表現(xiàn)力的交互，從而可以與用戶進(jìn)行生動(dòng)的對(duì)話。生成的 live2D 卡通人物可以使用 HTML5 無(wú)縫渲染，提供廣泛的應(yīng)用可能性。