自拍偷在线精品自拍偷,亚洲欧美中文日韩v在线观看不卡

網(wǎng)易互娛AI Lab落地全球首個(gè)舞蹈動(dòng)畫(huà)合成系統(tǒng)

云計(jì)算
近日,網(wǎng)易互娛AI Lab在SIGGRAPH 2021官方的精選預(yù)告片上展現(xiàn)了其首個(gè)能符合實(shí)際生產(chǎn)環(huán)境應(yīng)用要求的舞蹈動(dòng)畫(huà)合成系統(tǒng)ChoreoMaster。

AI合成舞蹈的方法百家爭(zhēng)鳴,能真正落地、用于實(shí)際生產(chǎn)的成熟系統(tǒng)卻是初次面世。近日,網(wǎng)易互娛AI Lab在SIGGRAPH 2021官方的精選預(yù)告片上展現(xiàn)了其首個(gè)能符合實(shí)際生產(chǎn)環(huán)境應(yīng)用要求的舞蹈動(dòng)畫(huà)合成系統(tǒng)ChoreoMaster。該系統(tǒng)可依據(jù)音樂(lè)風(fēng)格生成爵士、二次元、街舞等不同類型的舞蹈動(dòng)畫(huà),目前已為網(wǎng)易旗下的多款游戲項(xiàng)目產(chǎn)出了數(shù)個(gè)小時(shí)的高質(zhì)量舞蹈動(dòng)作資源,先來(lái)看段精彩的demo吧。

舞蹈動(dòng)畫(huà)在游戲和影視行業(yè)已非常普遍,目前業(yè)內(nèi)制作舞蹈動(dòng)畫(huà)大多采用的是手K或動(dòng)捕,因此生產(chǎn)一段高質(zhì)量的舞蹈動(dòng)畫(huà)依然需要耗費(fèi)大量精力和時(shí)間。在這種情況下,AI合成舞蹈成為了時(shí)下熱門的研究課題。但舞蹈作為一種獨(dú)立的藝術(shù)形式,其動(dòng)作與配樂(lè)在風(fēng)格、節(jié)奏和結(jié)構(gòu)等方面無(wú)一不透露出編舞學(xué)的專業(yè)知識(shí),想要穩(wěn)定輸出高質(zhì)量的結(jié)果并非易事。盡管業(yè)界也曾出現(xiàn)過(guò)多項(xiàng)紅極一時(shí)的研究成果,如AI Choreographer和DanceNet3D,然而這些方案或多或少都存在局限性,且并未落地于實(shí)際商業(yè)生產(chǎn)應(yīng)用。

 

(從左到右分別為AI Choreographer、DanceNet3D和ChoreoMaster輸入hip hop樂(lè)曲后,生成的效果對(duì)比)

 

經(jīng)歷了兩年多的潛心研發(fā),網(wǎng)易互娛AI LAB的研發(fā)團(tuán)隊(duì)終于找到了一種能符合實(shí)際生產(chǎn)環(huán)境應(yīng)用要求的AI舞蹈動(dòng)畫(huà)合成方案ChoreoMaster,該方案的亮點(diǎn)在于:除了能夠快速穩(wěn)定地輸出一段符合編舞美學(xué)、符合多種舞種風(fēng)格、連貫自然的舞蹈動(dòng)畫(huà),還靈活支持豐富的約束方式來(lái)指導(dǎo)算法按照用戶期望的方向合成舞蹈動(dòng)畫(huà),如可替換或刪除指定片段、預(yù)設(shè)舞蹈軌跡和限制舞蹈范圍等。

那么ChoreoMaster是如何做到這一切的呢?網(wǎng)易互娛AI LAB的研究人員們從打造實(shí)際生產(chǎn)力工具的角度對(duì)AI舞蹈合成問(wèn)題進(jìn)行了新的思考。作為一款美術(shù)資源生產(chǎn)工具,美術(shù)同事對(duì)舞蹈動(dòng)畫(huà)合成系統(tǒng)有兩方面的期待。首先,必須能夠持續(xù)、穩(wěn)定地輸出符合落地質(zhì)量標(biāo)準(zhǔn)的舞蹈動(dòng)作資源;其次,合成的過(guò)程必須具備足夠的可解釋性和可控性,能以最直觀的方式讓用戶快速獲得期望的結(jié)果。

近日,網(wǎng)易互娛AI LAB與清華大學(xué)合作對(duì)該方案進(jìn)行了系統(tǒng)性技術(shù)梳理,并撰寫(xiě)文章《ChoreoMaster: Choreography-Oriented Music-Driven Dance Synthesis》。該文章被SIGGRAPH 2021錄用,入選SIGGRAPH 2021 Technical Papers Preview Trailer(精選預(yù)告片),同時(shí)也將在計(jì)算機(jī)動(dòng)漫節(jié) Computer Animation Festival (CAF) 上播放。

 

 

以下為研究?jī)?nèi)容分享:

已有方案

雖然目前學(xué)術(shù)界已經(jīng)有大量關(guān)于“基于音樂(lè)的舞蹈合成問(wèn)題”的研究工作,遺憾的是,沒(méi)有一個(gè)已有算法框架能符合上述兩方面的期待。從技術(shù)原理上劃分,目前的方案可以被分成兩個(gè)流派:基于傳統(tǒng)圖優(yōu)化的方案和基于深度生成模型的方案。

基于傳統(tǒng)圖優(yōu)化的方案構(gòu)建于“graph-based motion synthesis”框架。其思路為對(duì)已有舞蹈動(dòng)作數(shù)據(jù)進(jìn)行切割分,形成大量舞蹈動(dòng)作片段,并構(gòu)建一個(gè)關(guān)于舞蹈動(dòng)作片段的動(dòng)作圖(motion graph),圖的每個(gè)節(jié)點(diǎn)對(duì)應(yīng)一個(gè)舞蹈動(dòng)作片段,圖的每條有向邊標(biāo)記了兩個(gè)鄰接節(jié)點(diǎn)之間的過(guò)渡代價(jià)。這個(gè)過(guò)渡代價(jià)度量了一個(gè)動(dòng)作片段是否能平滑地銜接在另一個(gè)動(dòng)作片段后面。通過(guò)定義一個(gè)關(guān)于音樂(lè)片段和舞蹈動(dòng)作片段匹配度的經(jīng)驗(yàn)函數(shù),基于音樂(lè)的舞蹈動(dòng)畫(huà)合成問(wèn)題就轉(zhuǎn)化成了在動(dòng)作圖中尋找一條與輸入音樂(lè)匹配度盡量高、同時(shí)內(nèi)部過(guò)渡代價(jià)盡量小的路徑(walk)。該優(yōu)化問(wèn)題可以用標(biāo)準(zhǔn)的隱馬爾可夫模型(HMM)進(jìn)行建模,并使用Viterbi或Beam-Search算法高效求解。這套圖優(yōu)化框架具備優(yōu)雅、完備的理論保障,可以以魯棒、可解釋、可控的方式合成平滑的動(dòng)作,也因此成為了圖形學(xué)領(lǐng)域處理動(dòng)作合成問(wèn)題的標(biāo)準(zhǔn)解決方案。然而,目前基于圖優(yōu)化的方法生成的舞蹈動(dòng)作遠(yuǎn)遠(yuǎn)達(dá)不到專業(yè)美術(shù)的審美標(biāo)準(zhǔn)。一方面,基于淺層人工特征定義的音樂(lè)-舞蹈匹配度并不能真實(shí)地刻畫(huà)音樂(lè)和舞蹈的內(nèi)在關(guān)聯(lián);另一方面,一段完整的舞蹈也遠(yuǎn)遠(yuǎn)不止將一批舞蹈動(dòng)作片段平滑地拼接在一起那么簡(jiǎn)單,即使每個(gè)片段都非常美觀。專業(yè)美術(shù)在看了這些方法合成的結(jié)果后,都會(huì)給出 “動(dòng)作拼湊感強(qiáng)”、“音樂(lè)動(dòng)作契合度差”、“缺乏編舞合理性”等反饋。

在深度學(xué)習(xí)技術(shù)興起后,深度生成模型在圖像、語(yǔ)音、文本等諸多領(lǐng)域的任務(wù)中取得了令人矚目的成績(jī),也很自然地被應(yīng)用到了基于音樂(lè)的舞蹈合成任務(wù)中。從生成模型的角度來(lái)看,基于音樂(lè)的舞蹈合成任務(wù)屬于經(jīng)典的針對(duì)時(shí)序數(shù)據(jù)的跨模態(tài)翻譯問(wèn)題,前文展示的DanceNet3D和AI Choreographer的方案都遵循這一思路。得益于深度人工神經(jīng)網(wǎng)絡(luò)在特征提取和表征方面的強(qiáng)大能力,只要數(shù)據(jù)充足并且訓(xùn)練充分,這類方法都可以在一定程度上學(xué)習(xí)到音樂(lè)和舞蹈之間的一些深層次關(guān)聯(lián)。然而,就跟其他領(lǐng)域面臨的問(wèn)題一樣,基于深度生成模型的方法想要在實(shí)際生產(chǎn)環(huán)境落地還有很長(zhǎng)的路要走。首先,人工神經(jīng)網(wǎng)絡(luò)屬于眾所周知的黑盒模型,其合成的結(jié)果幾乎沒(méi)有任何的可解釋性和可控性。其次,從機(jī)器學(xué)習(xí)的角度來(lái)說(shuō),人工神經(jīng)網(wǎng)絡(luò)理解數(shù)據(jù)本質(zhì)屬性的方式是將其投影到低維隱空間。在這個(gè)投影過(guò)程中,屬于高頻分量的動(dòng)作細(xì)節(jié)往往會(huì)被當(dāng)成不重要的噪音而被故意丟棄。由于丟失了這些高頻信息,深度生成模型合成的舞蹈動(dòng)作很容易表現(xiàn)得很“呆滯”,甚至有些時(shí)候連流暢性都難以保證,更不要說(shuō)達(dá)到專業(yè)美術(shù)的預(yù)期。最后,高質(zhì)量三維舞蹈動(dòng)作數(shù)據(jù)的生產(chǎn)成本要遠(yuǎn)遠(yuǎn)高于圖像、語(yǔ)音、文字等形式的數(shù)據(jù),可供訓(xùn)練的高質(zhì)量音樂(lè)-舞蹈數(shù)據(jù)非常有限。舞蹈本身又是一門比較復(fù)雜的藝術(shù)形式,這導(dǎo)致了目前所有的深度生成模型的泛化性都很受限,模型在處理訓(xùn)練數(shù)據(jù)集之外的音樂(lè)時(shí),效果難以保證,很容易輸出奇怪的結(jié)果。

 

編舞學(xué)(Choreography)規(guī)律

在嘗試了多種方案、但合成的結(jié)果屢屢不盡如人意之后,網(wǎng)易互娛AI LAB的研究團(tuán)隊(duì)開(kāi)始從舞蹈藝術(shù)角度對(duì)結(jié)果進(jìn)行審視,并系統(tǒng)性地學(xué)習(xí)了一門叫做編舞學(xué)(Choreography)的獨(dú)立學(xué)科。研究人員們從編舞學(xué)龐雜的主觀經(jīng)驗(yàn)性規(guī)律中,總結(jié)出了一些普適規(guī)則。在與專業(yè)美術(shù)持續(xù)不斷的迭代中,大家發(fā)現(xiàn)只要合成的舞蹈能夠遵循這些規(guī)律,就能達(dá)到美術(shù)的質(zhì)量要求,甚至能夠獲得專業(yè)編舞老師的認(rèn)可。

這些普適的編舞規(guī)則可以總結(jié)為:

風(fēng)格相契合,即音樂(lè)和舞蹈動(dòng)作所傳達(dá)出來(lái)的情緒和氛圍應(yīng)該是相似的;

節(jié)奏相匹配,即音樂(lè)的節(jié)奏點(diǎn)和舞蹈的節(jié)奏點(diǎn)應(yīng)該是同步的(也就是俗稱的“踩點(diǎn)”),并且這些節(jié)奏點(diǎn)出現(xiàn)的模式一般呈現(xiàn)明顯的規(guī)律性和周期性;

結(jié)構(gòu)相呼應(yīng),即音樂(lè)和動(dòng)作的組織結(jié)構(gòu)應(yīng)該是一致的,如重復(fù)的音樂(lè)段落(主歌、副歌等)對(duì)應(yīng)的舞蹈動(dòng)作段落一般也是重復(fù)的,重復(fù)的音樂(lè)小節(jié)對(duì)應(yīng)的舞蹈動(dòng)作小節(jié)一般是鏡像對(duì)稱的。

 

ChoreoMaster方案

基于這些編舞學(xué)規(guī)則、并結(jié)合已有方案的優(yōu)缺點(diǎn),網(wǎng)易互娛AI LAB的研究人員們提出了一種全新的基于音樂(lè)的舞蹈合成系統(tǒng)——ChoreoMaster。該系統(tǒng)能夠以穩(wěn)定、可解釋、可控的方式持續(xù)輸出符合落地標(biāo)準(zhǔn)的高質(zhì)量舞蹈動(dòng)作,是業(yè)界首個(gè)production-ready的舞蹈合成工具。

 

 

ChoreoMaster的技術(shù)方案如上圖所示,包含兩個(gè)模塊:面向編舞的音樂(lè)-舞蹈Embedding(左)和面向編舞的舞蹈動(dòng)作合成(右)。其中,音樂(lè)-舞蹈Embedding模塊利用深度學(xué)習(xí)技術(shù),從高質(zhì)量音樂(lè)/舞蹈數(shù)據(jù)庫(kù)中構(gòu)建音樂(lè)-舞蹈在風(fēng)格、節(jié)奏契合度方面的度量,用于定量描述音樂(lè)片段和舞蹈片段之間的風(fēng)格匹配度和節(jié)奏匹配度;而舞蹈動(dòng)作合成模塊則對(duì)傳統(tǒng)的圖優(yōu)化框架進(jìn)行擴(kuò)展,在動(dòng)作圖構(gòu)建和優(yōu)化目標(biāo)函數(shù)中融入風(fēng)格、節(jié)奏和結(jié)構(gòu)方面的編舞學(xué)規(guī)律。下面分別對(duì)這兩個(gè)模塊進(jìn)行簡(jiǎn)單介紹。

 

a)面向編舞的音樂(lè)-舞蹈Embedding

該模塊的目標(biāo)是將音樂(lè)和舞蹈的風(fēng)格相契合和節(jié)奏匹配度這兩條主觀性規(guī)律轉(zhuǎn)化成可計(jì)算的客觀定量表達(dá)。因此,該模塊整體是一個(gè)跨模態(tài) Embedding架構(gòu),包含Style(風(fēng)格)和Rhythm(節(jié)奏)兩個(gè)分支,分別用于將音樂(lè)/動(dòng)作片段從各自的模態(tài)空間映射為同一低維空間(32維)的Style Embedding和同一低維空間(8維)的Rhythm Embedding。網(wǎng)絡(luò)結(jié)構(gòu)如下圖所示。

 

 

在Style方面,ChoreoMaster首先利用有風(fēng)格標(biāo)簽的音樂(lè)數(shù)據(jù)和動(dòng)作數(shù)據(jù)獨(dú)立訓(xùn)練兩個(gè)分類網(wǎng)絡(luò),音樂(lè)分類網(wǎng)絡(luò)采用了在music tagging領(lǐng)域的屬于state-of-art的convolutional recurrent backbone,包含四個(gè)卷積層和兩個(gè)GRU層。動(dòng)作分類網(wǎng)絡(luò)則采用了對(duì)稱的設(shè)計(jì),只是將其中的卷積層替換成了經(jīng)常應(yīng)用于骨骼動(dòng)畫(huà)數(shù)據(jù)的圖卷積層。由于這兩個(gè)網(wǎng)絡(luò)獨(dú)立訓(xùn)練,所以這個(gè)階段并不需要配對(duì)的音樂(lè)舞蹈數(shù)據(jù)。在兩個(gè)分支各自訓(xùn)練到收斂的基礎(chǔ)上,ChoreoMaster利用配對(duì)的音樂(lè)和舞蹈數(shù)據(jù)對(duì)這兩個(gè)分支進(jìn)行聯(lián)合訓(xùn)練,訓(xùn)練目標(biāo)是讓兩個(gè)網(wǎng)絡(luò)在盡量保持自身分類準(zhǔn)確率的前提下,將配對(duì)的音樂(lè)和舞蹈數(shù)據(jù)映射為距離盡量小的特征向量。經(jīng)過(guò)獨(dú)立+聯(lián)合兩階段的訓(xùn)練,音樂(lè)和動(dòng)作兩個(gè)分支最后一層輸出的32維向量就構(gòu)成了音樂(lè)和動(dòng)作的Style Embedding,兩個(gè)Style Embedding之間的歐氏距離就可以定量度量音樂(lè)-音樂(lè)、音樂(lè)-動(dòng)作、動(dòng)作-動(dòng)作之間的風(fēng)格契合度。

與Style不同的是,音樂(lè)的Rhythm是可以從樂(lè)理角度給出明確的定義的。在編曲時(shí),音樂(lè)都會(huì)按均等的時(shí)間單位進(jìn)行組織,其中最小的單位就是一拍。所謂Rhythm指的就是音樂(lè)中強(qiáng)拍和弱拍的組合規(guī)律。一首音樂(lè)中的強(qiáng)、弱拍的組合并不是雜亂無(wú)章的,而是會(huì)呈現(xiàn)出一定的規(guī)律,表達(dá)這種規(guī)律的最小單位是小節(jié)(meter),同一首音樂(lè)中每小節(jié)的長(zhǎng)度也是固定的。例如3/4拍音樂(lè),指的是4分音符為一拍,每小節(jié)3拍。2/4、3/4、4/4這種拍號(hào)標(biāo)記稱為音樂(lè)的Time Signature。由于頓音符、連音符、修飾符等標(biāo)記的存在,在實(shí)際演奏的音樂(lè)中,小節(jié)內(nèi)的重拍并不一定嚴(yán)格出現(xiàn)在 Time Signature所定義的位置,還會(huì)存在空拍、半拍等情況。因此ChoreoMaster將Rhythm Embedding表示為一個(gè)稱為Rhythm Signature 的0-1向量,其中的偶數(shù)位和奇數(shù)位分別對(duì)應(yīng)音樂(lè)Time Signature中的主拍和半拍位置,每個(gè)位置的值則表示該位置是否存在實(shí)際的樂(lè)器節(jié)奏點(diǎn)(1:存在,0不存在)。Rhythm Signature中連續(xù)的0對(duì)應(yīng)了樂(lè)譜中的連奏(legato)。由于收集的數(shù)據(jù)集和業(yè)務(wù)實(shí)際需求基本都是4拍音樂(lè),因此在ChoreoMaster目前的實(shí)現(xiàn)中,Rhythm Signature被定義為8位,如下圖所示。

 

兩個(gè)Rhythm Signature之間的距離可以定義為帶權(quán)曼哈頓距離(偶數(shù)位權(quán)重1,奇數(shù)位權(quán)重0.5)。這樣,8位的Rhythm Signature天然構(gòu)成了一種低維Embedding。理論上所有可能的Rhythm Signature多達(dá)256種,但是在讓專業(yè)人員對(duì)數(shù)據(jù)庫(kù)中所有成對(duì)的音樂(lè)和舞蹈數(shù)據(jù)進(jìn)行標(biāo)注后,研究人員統(tǒng)計(jì)發(fā)現(xiàn),常見(jiàn)的Rhythm Signature其實(shí)只有13種。因此Rhythm分支的目標(biāo)可以通過(guò)一個(gè)簡(jiǎn)單的分類網(wǎng)絡(luò)進(jìn)行實(shí)現(xiàn),該網(wǎng)絡(luò)同樣包含音樂(lè)和動(dòng)作兩個(gè)分支,各自以2個(gè)卷積層+1個(gè)全連接層進(jìn)行特征提取,之后送入權(quán)重共享的3個(gè)全連接層進(jìn)行分類。與Style分支不同的是,節(jié)奏信息更直觀的反應(yīng)在音樂(lè)的強(qiáng)弱變化和動(dòng)作的速度、加速度等信息中,因此Rhythm分支以音樂(lè)信號(hào)的energy、onset和動(dòng)作數(shù)據(jù)骨骼點(diǎn)的速度、加速、觸地等高層信息作為輸入。此外,由于Rhythm Signature的分布與音樂(lè)/舞蹈的風(fēng)格存在明顯的相關(guān)性(如國(guó)風(fēng)舞蹈的Rhythm Signature中會(huì)包含更多的0,街舞的Rhythm Signature中則會(huì)包含更多的半拍),因此音樂(lè)/舞蹈的Style Embedding信息也被送入了Rhythm分支,跟Rhythm特征拼接在一起,送入權(quán)重共享的三個(gè)全連接分類層。

從前面的介紹中可以發(fā)現(xiàn),ChoreoMaster沒(méi)有像很多其他基于深度學(xué)習(xí)的音樂(lè)舞蹈合成框架一樣,用一個(gè)統(tǒng)一的網(wǎng)絡(luò)來(lái)構(gòu)建音樂(lè)-舞蹈之間的跨模態(tài)關(guān)聯(lián),而是采用了一種解耦的方式來(lái)處理Style和Rhythm。站在實(shí)用的角度來(lái)看,ChoreoMaster的這種設(shè)計(jì)有兩方面考慮:一方面,將Style和Rhythm解耦,可以提升后續(xù)合成算法的可解釋性和可控性;另一方面,獨(dú)立的Rhythm分支也可以更好地融入樂(lè)理先驗(yàn),提升網(wǎng)絡(luò)的可用性和泛化性。

 

b)面向編舞的舞蹈動(dòng)作合成

 

為了保證系統(tǒng)的魯棒性、可解釋性和可控性,ChoreoMaster選擇了圖優(yōu)化框架來(lái)實(shí)現(xiàn)舞蹈動(dòng)作的合成。與之前的圖優(yōu)化方案不同的是,ChoreoMaster在音樂(lè)舞蹈合成場(chǎng)景下,對(duì)“graph-based motion synthesis”框架做了充分的擴(kuò)展,將風(fēng)格、節(jié)奏和結(jié)構(gòu)方面的編舞學(xué)規(guī)律融入到了動(dòng)作圖構(gòu)建和圖優(yōu)化目標(biāo)函數(shù)中。前文已經(jīng)簡(jiǎn)單介紹過(guò)基于圖優(yōu)化的舞蹈合成思路,這里重點(diǎn)列舉一下ChoreoMaster的不同點(diǎn)。

在動(dòng)作圖構(gòu)建方面:

1)對(duì)舞蹈動(dòng)作以小節(jié)(meter)為單位進(jìn)行切分,而不是以節(jié)拍(beat)為單位進(jìn)行切分,也就是說(shuō)動(dòng)作圖的每個(gè)節(jié)點(diǎn)對(duì)應(yīng)了一個(gè)完整的舞蹈動(dòng)作小節(jié),這樣可以保證合成的舞蹈動(dòng)作中每個(gè)小節(jié)內(nèi)部組織方式的合理性。

2)在計(jì)算動(dòng)作圖節(jié)點(diǎn)之間的過(guò)渡代價(jià)時(shí),除了傳統(tǒng)的連續(xù)性代價(jià),還引入了以32維Style Embedding進(jìn)行度量的風(fēng)格兼容性代價(jià),這樣可以有效避免合成的舞蹈動(dòng)作中出現(xiàn)突兀的風(fēng)格跳變。如下圖中展示的一樣,如果只有動(dòng)作連續(xù)性的代價(jià),可愛(ài)風(fēng)動(dòng)作很容易過(guò)渡到性感風(fēng)或炫酷風(fēng)動(dòng)作。

 

 

3)采用了一些數(shù)據(jù)曾廣手段,對(duì)動(dòng)作圖的節(jié)點(diǎn)數(shù)進(jìn)行擴(kuò)充,擴(kuò)充方式包括左右鏡像(下圖左),上下半身融合(下圖右)和小節(jié)重組。其中,小節(jié)重組指的是從“1234”和“abcd”兩個(gè)小節(jié),生成兩個(gè)新的小節(jié)“12cd”和“ab34”,前提是“1234”和“abcd”的Rhythm Signature一致、Style Embedding非常接近,并且“12”和“cd”、“ab”和“34”可以平滑的拼接在一起。上下半身融合和小節(jié)重組生成的新數(shù)據(jù),全部都進(jìn)行了人工校驗(yàn)。

 

 

 

在優(yōu)化目標(biāo)方面:

1)以Style Embedding和Rhythm Signature之間的距離來(lái)度量音樂(lè)和舞蹈小節(jié)之間的匹配度,即HMM(隱馬爾可夫模型)中的data term

2)以動(dòng)作圖邊上保存的過(guò)渡代價(jià)來(lái)定義HMM的transition term

3)音樂(lè)和舞蹈的結(jié)構(gòu)一致性規(guī)律則被轉(zhuǎn)化成了重復(fù)(repeat)和鏡像(mirror)兩種約束,并松弛為懲罰項(xiàng)融入了HMM的目標(biāo)函數(shù)中。兩種約束都只會(huì)發(fā)生在內(nèi)容非常相似的音樂(lè)小節(jié)之間。當(dāng)檢測(cè)到兩個(gè)音樂(lè)小節(jié)內(nèi)容一致時(shí),如果這兩個(gè)小節(jié)屬于不同的音樂(lè)章節(jié)(也叫樂(lè)句,phrase),則這兩個(gè)小節(jié)對(duì)應(yīng)的舞蹈動(dòng)作應(yīng)該是重復(fù)的,如重復(fù)的主歌、副歌對(duì)應(yīng)的動(dòng)作也是重復(fù)的;如果這兩個(gè)小節(jié)屬于相同的音樂(lè)章節(jié),則這兩個(gè)小節(jié)對(duì)應(yīng)的舞蹈動(dòng)作應(yīng)該是互相鏡像的,如左手一個(gè)慢動(dòng)作、右手一個(gè)慢動(dòng)作。

 

最后,我們通過(guò)三組對(duì)比實(shí)驗(yàn)來(lái)直觀感受一下風(fēng)格、節(jié)奏和結(jié)構(gòu)這三條編舞規(guī)律對(duì)合成結(jié)果的影響。

以上只是粗略介紹了ChoreoMaster的基本思路,實(shí)現(xiàn)細(xì)節(jié)和更多結(jié)果展示詳見(jiàn)項(xiàng)目主頁(yè):

https://netease-gameai.github.io/ChoreoMaster/ 

責(zé)任編輯:趙立京 來(lái)源: 網(wǎng)絡(luò)
相關(guān)推薦

2022-09-06 09:29:43

監(jiān)控系統(tǒng)

2024-05-11 07:48:46

騰訊抽象耦合度

2009-07-28 09:33:51

云計(jì)算平臺(tái)

2018-11-02 17:14:41

百度AI公園海淀區(qū)

2014-08-14 10:05:01

游戲大數(shù)據(jù)

2017-01-19 18:13:11

華為

2014-07-30 17:05:02

芒果互娛

2025-04-15 09:08:51

系統(tǒng)數(shù)據(jù)模型

2018-08-28 18:12:58

華為云

2019-01-10 15:16:20

AI數(shù)據(jù)科技

2023-05-25 14:28:47

DarkBERT自暗網(wǎng)AI

2020-09-24 15:35:25

圖分析AITigerGraph

2015-11-12 14:30:05

聲網(wǎng)

2020-05-22 09:05:32

3DAI 代碼

2025-01-23 09:15:00

數(shù)據(jù)技術(shù)模型

2023-01-17 09:38:17

模型訓(xùn)練

2017-08-02 16:09:41

華為

2018-12-20 20:05:14

TalkingData奧維互娛投資
點(diǎn)贊
收藏

51CTO技術(shù)棧公眾號(hào)