設定一個3D場景，你便可以用文字編織你的劇情。

一句話，就能讓兩個人激烈爭吵。

吵完之后，又溫馨共舞起來~

想怎么排就怎么排，就像影視拍攝或舞臺劇的編排一樣，只需在劇本中設定角色的行動、互動和環(huán)境要素，就能自動生成符合邏輯的3D角色動畫，讓你的劇情真正“動”起來。

來自北京航空航天大學、香港中文大學（深圳）、悉尼科技大學、中山大學等高校的研究者提出Sitcom-Crafter。成果已被ICLR 2025會議接收。

作為一項探索性研究，它重點解決基于場景的多人交互運動生成問題，嘗試如何整合多種動作生成技術，為創(chuàng)意工作者提供更加高效的工具。

來看看是如何解決的吧。

助你打造3D劇情世界

你是否曾夢想，只需撰寫一個劇本，就能在3D場景中自動呈現(xiàn)生動的角色演出？現(xiàn)在，這一愿景正逐步成為現(xiàn)實！

在動畫和游戲制作中，角色的動作設計是一項關鍵任務，通常需要人工精細調(diào)節(jié)或依賴昂貴的動作捕捉技術。

而現(xiàn)有的自動化方案往往局限于單一類型的動作，難以滿足復雜劇情中多人互動和場景交互的需求。

Sitcom-Crafter的核心創(chuàng)新在于場景感知的多人交互運動生成。

在多人互動的3D劇情動畫中，角色之間的動作協(xié)調(diào)和場景適應性是決定動畫質(zhì)量的關鍵。Sitcom-Crafter提出了場景感知的角色-角色交互生成模塊，專門解決多人交互中的碰撞、動作同步以及場景適應性等問題。

現(xiàn)有的多人交互運動生成方法未考慮3D場景信息，直接應用到3D場景時，角色容易與環(huán)境物體發(fā)生嚴重碰撞。

Sitcom-Crafter采用自監(jiān)督SDF（Signed Distance Function）策略，在訓練過程中自動生成環(huán)境3D體素點信息，自動標注哪些區(qū)域可行走，哪些為障礙物：

• 提取角色運動軌跡，生成3D網(wǎng)格模型
• 計算步行區(qū)域的凸包，標記角色可活動的地面范圍
• 合成3D障礙物，通過二值SDF計算物體分布
• 將SDF作為模型條件輸入，在生成過程中主動規(guī)避場景碰撞

基于此，Sitcom-Crafter在無需額外數(shù)據(jù)采集的情況下，利用已有的人體標記點數(shù)據(jù)智能推測場景信息，自動生成物理合理的互動，使角色動作更加自然。這一創(chuàng)新降低了數(shù)據(jù)成本，提高了創(chuàng)作效率，為動畫和游戲行業(yè)提供了一種新的探索方向。

數(shù)據(jù)規(guī)范化策略，優(yōu)化角色交互建模

傳統(tǒng)方法在多人交互數(shù)據(jù)處理時，采用單角色歸一化，即將一個角色固定在原點，另一角色相對其位置進行建模。然而，這種方式導致模型難以同時學習兩位角色的動態(tài)特性。

Sitcom-Crafter提出了雙角色局部歸一化策略：

• 每個角色的骨盆位置，作為局部坐標原點
• 所有骨架標記點，相對于角色自身骨盆位置計算
• 僅對骨盆的全局位移建模，簡化數(shù)據(jù)分布

通過這一策略，Sitcom-Crafter使兩位角色的運動分布更加一致，避免了傳統(tǒng)方法中一方角色較易學習，而另一方角色較難學習的問題。

多模塊協(xié)同，讓角色動作更加自然

Sitcom-Crafter采用“核心動作生成”+“增強優(yōu)化”的雙類型模塊架構，以確保動作的多樣性、流暢性與一致性。

三大核心生成模塊——支撐劇情中最重要的角色動作

角色移動 （Locomotion）：基于前沿技術，角色可在3D場景中自然行走。
角色-場景交互 （Human-Scene Interaction）：角色可感知環(huán)境，與物體進行符合物理邏輯的交互。
角色-角色互動 （Human-Human Interaction）：采用創(chuàng)新的3D場景感知方法，減少角色之間及角色與場景的碰撞，使動作更加協(xié)調(diào)。

五大增強模塊——讓生成的動畫更具沉浸感

• 劇情解析：AI自動拆解劇本，轉化為具體的角色動作指令。
• 動作同步：確保多個角色在互動時節(jié)奏匹配，避免生硬的動作銜接。
• 手勢優(yōu)化：智能匹配手部動作，使角色的表現(xiàn)更加生動自然。
• 碰撞修正：檢測并修復角色之間的潛在碰撞問題，提升動畫流暢度。
• 3D角色重定向：將動作適配至不同風格的3D角色模型，保證最終視覺效果。

Sitcom-Crafter充分展現(xiàn)了其在智能化角色動畫生成方面的強大潛力。實驗結果表明，該系統(tǒng)能夠在多個開源3D場景中生成多樣化且符合物理約束的角色動作。下圖摘錄的部分實驗數(shù)據(jù)進一步驗證了Sitcom-Crafter在物理一致性和約束生成能力方面的卓越表現(xiàn)。

（FS：足部滑動檢測、FP：足部穿透檢測、HSP：角色與場景碰撞檢測、HHP：角色間干擾檢測）

Sitcom-Crafter在3D劇情動畫和游戲制作領域展現(xiàn)出廣闊的應用前景，為多角色動作生成提供了創(chuàng)新性的解決方案，進一步推動了角色動畫創(chuàng)作的智能化進程。

項目主頁：
https://windvchen.github.io/Sitcom-Crafter/

論文鏈接：https://arxiv.org/abs/2410.10790