在數(shù)字化內容創(chuàng)作領域，3D動畫、游戲開發(fā)和虛擬現(xiàn)實等技術正飛速發(fā)展。然而，傳統(tǒng)的人類動作生成方法面臨著效率低下、成本高昂以及難以滿足多樣化需求的挑戰(zhàn)。為了突破這些限制，北京航空航天大學、香港中文大學（深圳）、悉尼科技大學和中山大學等高校聯(lián)合推出了 Sitcom-Crafter —— 一個基于劇情驅動的3D人類動作生成系統(tǒng)。

一、項目概述

Sitcom-Crafter 由北京航空航天大學、香港中文大學（深圳）、悉尼科技大學和中山大學等多所知名高校的科研團隊聯(lián)合開發(fā)。這些團隊在計算機圖形學、人工智能和動畫技術等領域擁有豐富的研究經(jīng)驗和深厚的技術積累，為項目的成功實施提供了堅實的保障。

Sitcom-Crafter 的主要目標是開發(fā)一個綜合性的3D人類動作生成系統(tǒng)，能夠基于用戶提供的長劇情指導，生成多樣化且物理真實的動作。該系統(tǒng)不僅支持人類行走、場景交互和人與人之間的交互，還通過增強模塊優(yōu)化動作的流暢性、自然性和同步性。

二、主要功能

（一）核心功能

1.人類行走：Sitcom-Crafter 支持角色在3D場景中的自然行走，能夠根據(jù)場景和劇情需求動態(tài)規(guī)劃路徑，確保角色的移動符合物理邏輯和劇情要求。

2.人類與場景交互：角色可以與環(huán)境物體進行符合物理邏輯的交互，例如開門、拾取物品等。這一功能通過結合場景信息和深度學習模型實現(xiàn)，確保動作的真實性和自然性。

3.人類之間交互：系統(tǒng)能夠生成角色之間的協(xié)調動作，減少碰撞并優(yōu)化動作同步性。這一功能通過創(chuàng)新的3D場景感知技術實現(xiàn)，顯著提升了多人交互的流暢性。

（二）增強功能

1. 劇情解析：使用大型語言模型（如 Gemini 1.5）解析劇本，將長劇情文本轉化為具體的角色動作指令。這一功能使得系統(tǒng)能夠理解復雜的劇情邏輯，并將其分解為可操作的命令。

2. 運動同步：確保不同模塊生成的運動在時間上保持一致，避免動作銜接的生硬感。通過插值技術（如 Slerp），系統(tǒng)能夠實現(xiàn)平滑的動作過渡。

3. 手部姿態(tài)增強：通過檢索數(shù)據(jù)庫中的手部姿態(tài)，增強角色動作的自然性和表現(xiàn)力。這一功能利用 CLIP 模型檢索與文本描述最相似的手部姿態(tài)。

4. 碰撞修正:自動檢測并修正人物之間的碰撞，提升動作的流暢性和物理真實性。系統(tǒng)會調整運動速度或路徑，避免不必要的碰撞。

5. 3D重定向:將生成的運動映射到現(xiàn)有的3D數(shù)字人物模型，確保最終視覺效果的高質量。這一功能支持將生成的動作應用于不同的角色模型。

三、技術原理

（一）運動生成模塊

1. 人類行走生成:基于深度學習模型（如 GAMMA）生成自然的行走動作。該模塊通過學習大量行走數(shù)據(jù)，能夠生成符合物理邏輯的行走路徑。

2. 人與場景交互生成:結合DIMOS 方法和場景信息，生成角色與環(huán)境物體的交互動作。通過自監(jiān)督學習，該模塊能夠自動適應不同的場景和物體。

3. 人與人交互生成:使用自監(jiān)督場景感知方法，通過 SDF（簽名距離函數(shù)）點模擬周圍環(huán)境，避免碰撞并生成多人交互動作。

（二）場景感知技術

1. SDF點合成:在訓練過程中，系統(tǒng)自動生成環(huán)境的3D體素點信息，自動標注可行走區(qū)域和障礙物。這一策略無需額外數(shù)據(jù)采集，顯著降低了成本。

2. 碰撞檢測與修正:通過 SDF 點檢測角色與場景或彼此之間的碰撞，并調整運動軌跡或速度，避免碰撞。

（三）劇情理解與命令生成

使用大型語言模型解析劇情文本，將其轉化為具體的角色動作指令。這一模塊能夠理解復雜的劇情邏輯，并將其分解為可操作的命令。

（四）增強模塊

1. 運動同步:通過插值技術（如 Slerp）確保不同模塊生成的運動平滑過渡。

2. 手部姿態(tài)檢索: 利用 CLIP 模型檢索與文本描述最相似的手部姿態(tài)，增強動作的自然性。

3. 碰撞修正:調整運動速度或路徑，避免人物之間的碰撞。

4. 3D重定向：將生成的運動映射到高質量的3D數(shù)字人物模型，提升視覺效果。

四、應用場景

（一）動畫制作

快速生成角色運動：減少手動動畫工作量，支持多樣化動作和劇情驅動的動畫設計。

提升制作效率：通過AI自動生成復雜動作，縮短制作周期。

（二）游戲開發(fā)

自然行為設計：為NPC設計自然行為和交互動作，提升游戲沉浸感。

動態(tài)劇情生成：支持實時動作反饋，增強玩家的互動體驗。

（三）虛擬現(xiàn)實（VR）和增強現(xiàn)實（AR）

自然交互：生成虛擬角色的自然交互和場景模擬，提升用戶體驗。

增強沉浸感：通過真實的動作生成，增強虛擬環(huán)境的沉浸感。

（四）影視制作

創(chuàng)意驗證：在早期創(chuàng)意階段快速驗證角色動作，節(jié)省制作成本。

特效場景設計：生成復雜動作和交互，提升特效場景的設計效率。

動作捕捉替代：減少對傳統(tǒng)動作捕捉設備的依賴，降低制作成本。

（五）教育和培訓

模擬訓練：生成模擬訓練中的角色行為，幫助學員掌握復雜場景的操作。

虛擬教學助手：創(chuàng)建虛擬教學助手，支持安全演示和復雜場景教學。

（六）廣告與營銷

動態(tài)廣告內容：生成符合廣告劇情的3D角色動作，提升廣告的吸引力和表現(xiàn)力。

虛擬產(chǎn)品演示：通過虛擬角色展示產(chǎn)品使用過程，增強消費者對產(chǎn)品的理解。

五、結語

Sitcom-Crafter 作為一款創(chuàng)新的3D人類動作生成系統(tǒng)，通過劇情驅動和智能化技術，顯著提升了創(chuàng)作效率和動作質量。它不僅支持多樣化的人類動作生成，還通過增強模塊優(yōu)化動作的自然性和流暢性。無論是動畫制作、游戲開發(fā)還是虛擬現(xiàn)實領域，Sitcom-Crafter 都展現(xiàn)出廣闊的應用前景。

六、相關資源

項目官網(wǎng)：??https://windvchen.github.io/Sitcom-Crafter/??

GitHub倉庫：??https://github.com/WindVChen/Sitcom-Crafter??

技術論文：???https://arxiv.org/abs/2410.10790??

本文轉載自??小兵的AI視界??，作者：AGI小兵