元宇宙的愿景是美好的，但前路困難重重。

由于頭顯設(shè)備無法捕捉到腿部的運動，所以目前元宇宙里的虛擬化身都只能有一半「身子」。

最近Meta在Horizon Worlds里完成一個劃時代的創(chuàng)舉，不僅在元宇宙里給化身加上腿，甚至還能旋轉(zhuǎn)跳躍。

但也有批評者表示，這根本就不是用戶真實的腿部運動，Meta只是利用技術(shù)模擬了運動軌跡，讓行動看起來真實一些。

不過相比其他元宇宙應(yīng)用中的「意念飛行」或者「假腿滑行」來說，Meta確實實現(xiàn)了元宇宙中零條腿的突破。

而Oculus軟件開發(fā)包（SDK）最近也發(fā)布了更新，開發(fā)者可以在新設(shè)備使用身體追蹤、面部追蹤、眼球追蹤技術(shù)，可以將用戶在現(xiàn)實中的一舉一動都帶入到映射到元宇宙中。

所以，Meta到底是怎么讓虛擬化身長腿的？

長腿了，但沒完全長

首先提一個問題，「長腿」這件事，對「你自己」來說更重要，還是對別人更重要？

比如在FPS游戲里，我們從來沒有看到過使用角色的腿長什么樣（除了死亡視角），所以如何讓用戶觀察到「其他角色」的正常腿部運動才是解決問題的關(guān)鍵。

Meta首席技術(shù)官Andrew Bosworth在一次Instagram會議上回答關(guān)于「腿部追蹤」問題時，明確表示：

我們目前的戰(zhàn)略就是研究如何讓旁觀者看起來「你」的腿更自然，因為實際上上他們也不知道你的腿到底是如何擺放的。如果你低下頭看自己的腿時，可能仍然什么也看不到，不過這也不重要。

而Meta讓虛擬化身站起來的秘密就藏在9月20日上傳到arXiv的一篇論文里。

論文鏈接：?https://arxiv.org/pdf/2209.09391.pdf?

先看一下他們的解決方案演示視頻，僅通過頭顯即可實現(xiàn)對人體運動的實時跟蹤，可以極大提升AR/VR中的沉浸式互動體驗。

從獨立的可穿戴設(shè)備如HMD（頭戴式設(shè)備）或AR眼鏡中獲得的關(guān)于身體的傳感器數(shù)據(jù)非常有限。

這篇論文中，Meta提出了一個強(qiáng)化學(xué)習(xí)框架，接收來自HMD和兩個控制器的稀疏信號，并模擬可信的、物理上有效的全身運動。

在訓(xùn)練中使用高質(zhì)量的全身運動數(shù)據(jù)作為監(jiān)督，然后用一個簡單的策略網(wǎng)絡(luò)可以學(xué)習(xí)輸出適當(dāng)?shù)呐ちΓ允菇巧珜崿F(xiàn)平衡、行走和跳躍，同時密切跟蹤輸入信號。

實驗結(jié)果表明，在完全沒有觀察到下半身的情況下，即使輸入的只是HMD的6D變換，模型預(yù)測的腿部運動與真實運動軌跡相似度非常高。

研究人員還證明，單一的策略網(wǎng)絡(luò)可以對不同的運動方式、不同的身體尺寸和新環(huán)境也具有魯棒性。

雖然官方宣傳這項功能是「身體追蹤」（body tracking），但實際上更準(zhǔn)確的形容是「身體姿勢估計」。

發(fā)言人形容這項技術(shù)是逆運動學(xué)(inverse kinematics，IK)和機(jī)器學(xué)習(xí)(ML)的結(jié)合。

IK指的是一類基于已知位置估計骨骼(或機(jī)器人)部件未知位置的方程，其中的方程式是為應(yīng)用程序中的全身虛擬現(xiàn)實化身提供運動的基礎(chǔ)。

開發(fā)者不需要實現(xiàn)(甚至不需要理解) IK 背后的數(shù)學(xué)原理，像 Unity和Unreal這樣的游戲引擎已經(jīng)內(nèi)置了IK

其他的一些身體跟蹤技術(shù)往往需要一些專用硬件，比如像HTC 的Vive Tracker等，而VR 的 IK 往往是不準(zhǔn)確的，Meta的主要賣點在于它的機(jī)器學(xué)習(xí)模型可以免費生成更精確的身體姿勢。

在一次面向開發(fā)者的演講中，身體追蹤產(chǎn)品經(jīng)理Vibhor Saxena表示，未來幾年身體跟蹤的新改進(jìn)將通過相同的 API 提供，所以無需更換設(shè)備即可享受最新的身體跟蹤技術(shù)。

但這種方法仍然存在一些關(guān)鍵問題沒有解決，比如如何流暢地處理坐姿和站姿之間的變換，以及如何使腿部在用拇指移動時看起來自然。

通過這項技術(shù)安裝的腿行動軌跡也并非完全準(zhǔn)確，并且有160ms的延遲，在72Hz的設(shè)置下，大約是11幀。

不過相比當(dāng)下的元宇宙應(yīng)用程序中，虛擬化身的移動看起來更像是在滑行或「意念飛行」來說，這項技術(shù)已經(jīng)是重大進(jìn)步了。

到底是不是身體追蹤？

Meta說是「身體追蹤」，但實際上只是「身體模擬」，引來了大量批評的聲音，不過也有大量的網(wǎng)友表示支持，網(wǎng)友Christian Schildwaechter提供了相當(dāng)專業(yè)的評論。

認(rèn)定Meta還沒有提供身體追蹤的完整解決方案有些不公平，因為其他廠商也沒有做到這一點。

他們的宣傳片并不代表他們軟件的當(dāng)前狀態(tài)，更多的是他們的目標(biāo)。Meta公司經(jīng)常把演示弄得一團(tuán)糟，不管是用非常令人毛骨悚然的化身，還是夸大沒有人真正關(guān)心的東西，但他們?nèi)匀辉谧鲱I(lǐng)域內(nèi)相當(dāng)尖端的東西。

當(dāng)然，其他公司實現(xiàn)全身追蹤技術(shù)已經(jīng)有很長一段時間了，但這需要在硬件和高速計算機(jī)上進(jìn)行巨大投資。

現(xiàn)有的軟件IK已經(jīng)存在很長一段時間了，但它經(jīng)常會破壞沉浸感、生成一些物理上不可能的姿勢，或者在移動時導(dǎo)致肘部受到影響。

必須看看他們的方法效果如何，以及他們是否能夠為腿部想出一個可用的解決方案，但考慮到他們只依靠手和頭的位置，并在一個計算能力非常弱的設(shè)備上運行，同時還必須并行渲染世界，其結(jié)果看起來相當(dāng)令人印象深刻。

更重要的是，該研究方向極有可能是正確的。

當(dāng)下移動端硬件的發(fā)展過于緩慢，無法在不完全破壞電池壽命的情況下迅速提高分辨率、FoV和圖形界面。

為了實現(xiàn)優(yōu)雅的無障礙VR，需要做得更聰明，而不僅僅是用更快的芯片，無論是通過ETFR減少負(fù)載、智能升頻還是利用人類視覺的極限。

機(jī)器學(xué)習(xí)將是其中的一個重要部分，因為它可以將大部分計算需求轉(zhuǎn)移到最初的模型構(gòu)建階段，而這種方法可以在像Quest 2這樣的低功率設(shè)備上正常工作。

Meta也已經(jīng)展示了對定制的低功耗神經(jīng)引擎芯片的研究，以集成到未來的SoC中，這可能是他們與高通合作的一個重要部分，所以未來的Quest版本將更好地滿足這一需求。

即使是專業(yè)的FBT系統(tǒng)也經(jīng)常產(chǎn)生一些古怪的錯誤，但經(jīng)過訓(xùn)練的人工智能解決方案不僅有助于從很少的傳感器輸入中快速得出骨骼信息，而且訓(xùn)練本身排除了很多純粹基于傳感器的跟蹤解決方案可能建議的物理上不可能的結(jié)果。

Meta令人印象深刻的是，他們一直在推動消費類設(shè)備的可行解決方案，而這些設(shè)備在很長一段時間內(nèi)將不得不利用非常有限的資源。

因此，與其批評他們?nèi)匀粵]有工作的腿，或者批評他們在宣傳片中的動作捕捉方案，我們應(yīng)該偶爾承認(rèn)他們提供了其他商業(yè)供應(yīng)商沒有展示過的解決方案，并繼續(xù)向公眾發(fā)布軟件產(chǎn)品，否則這些方案只能在研究實驗室中找到。

我們?nèi)匀惶幱赩R和追蹤技術(shù)的初級階段，要想讓它對大量主流觀眾來說足夠有用且無故障，還需要好幾年的時間，但Meta公司實際上正在將它推向那里。