【51CTO.com原創(chuàng)稿件】2017年7月21-22日， 以“人工智能，不止于技術(shù)的革命”為主題的WOT2017全球創(chuàng)新技術(shù)峰會(huì)在北京富力萬(wàn)麗酒店圓滿落幕。本次峰會(huì)為期兩天，30+人工智能領(lǐng)域的一線實(shí)戰(zhàn)專家、BAT等企業(yè)技術(shù)大牛圍繞機(jī)器學(xué)習(xí)、人機(jī)交互、技術(shù)實(shí)踐等前沿技術(shù)話題展開深度分享。除了場(chǎng)內(nèi)的精彩演講，場(chǎng)外還有專門為AI愛好者搭建的動(dòng)手實(shí)驗(yàn)室和科技體驗(yàn)區(qū)，這一切都讓本次大會(huì)亮點(diǎn)十足。

　　uSens凌感中國(guó)研發(fā)中心高級(jí)研究員王曉濤在人機(jī)交互分會(huì)場(chǎng)做了《VR/AR中的交互技術(shù)》主題演講。演講結(jié)束后，記者采訪到了他，請(qǐng)他分享關(guān)于手勢(shì)交互領(lǐng)域的精彩觀點(diǎn)。

　　人機(jī)交互往往與硬件變革相伴相生

　　談到VR和AR，大多數(shù)人的***印象就是那些虛擬可視化設(shè)備，例如Oculus rift、Htc vive、PSVR、Hololens等。體驗(yàn)過的人都知道，這些設(shè)備的確給人們帶來了很奇幻的感覺,并且佩戴越來越輕便，分辨率越來越高，內(nèi)容越來越豐富?？梢哉fVR/AR設(shè)備已經(jīng)日趨成熟，面向消費(fèi)者并且開始普及。王曉濤指出，如今VR和AR發(fā)展外界看來似乎開始放緩，事實(shí)從業(yè)內(nèi)看，從未停止，而且都是關(guān)鍵技術(shù)的推進(jìn)。整個(gè)行業(yè)不僅僅依靠硬件設(shè)備，還需要很多其他的東西來支撐和完善。

　　王曉濤告訴記者，當(dāng)人們回顧一下歷史就會(huì)發(fā)現(xiàn)，每次硬件產(chǎn)品重大變革都伴隨著革新的人機(jī)交互方案，并且趨勢(shì)都是向著更自然的方向發(fā)展。例如***臺(tái)臺(tái)式機(jī)Programma 鍵盤做輸入，紙帶做輸出;***款消費(fèi)級(jí)PC Macintosh, 鼠標(biāo)做輸入，GUI界面輸出;大家都熟悉的***款智能手機(jī) iPhone, 多點(diǎn)觸控輸入IOS界面輸出。“可以看出，隨著硬件產(chǎn)品的換代，交互方式也越來越方便，好用，并且也容易學(xué)習(xí)，不在需要熟記各種命令。那么VR/AR想要成為新一代革命性的硬件產(chǎn)品，也需要全新的人機(jī)交互方式。”

　　那么在人機(jī)交互的發(fā)展史上，有哪些里程碑式的產(chǎn)品呢?王曉濤列舉了三款重要的產(chǎn)品。一是1965年的***臺(tái)臺(tái)式機(jī)(開創(chuàng)了商業(yè)機(jī)普及)，引入卡片為輸出，鍵盤輸入;二是1984年Macintosh(開創(chuàng)了PC消費(fèi)品市場(chǎng)普及)，引入GUI輸出，鼠標(biāo)輸入(繼LISA后第二部使用圖形用戶界面，***應(yīng)用到個(gè)人電腦，systemSoftware，MacOS);三是2007年iPhone(開創(chuàng)了智能手機(jī)消費(fèi)品普及),引入multi-touch和iOS系統(tǒng)。

　　前景看好的手勢(shì)交互

　　據(jù)了解，VR/AR目前的交互方式可以說五花八門，各個(gè)廠商都在做各種嘗試和探索。王曉濤介紹到，有基于手持設(shè)備的手柄、操作桿的廠商如Oculus、 htc vivi、 psvr，也有基于觸摸板的Gear vr，還有基于磁電傳感器手套的諾亦騰、基于眼球追蹤的、基于語(yǔ)音識(shí)別的，以及基于裸手手勢(shì)的各類廠商。他認(rèn)為每一類方式都有自己的特點(diǎn)，都有適合的場(chǎng)景和適用的內(nèi)容，尤其是有的適用于VR環(huán)境，有的適用于AR環(huán)境。

　　在VR環(huán)境中，由于場(chǎng)景都是虛擬出來的，所以各種手持設(shè)備、傳感器等并不影響使用的感官，人們雖然看不到手里拿著東西，但是可以習(xí)慣性的像使用鼠標(biāo)一樣使用這些交互工具。所以，在VR環(huán)境中，基于設(shè)備的交互方式目前處于主導(dǎo)地位，一方面是無論是在精度還是在穩(wěn)定性上基于物理元件的方式更優(yōu)秀，實(shí)現(xiàn)起來也相對(duì)簡(jiǎn)單;另一方面也是各大廠商同時(shí)推出交互設(shè)備與匹配的交互內(nèi)容，即賣硬件又賣軟件，有利潤(rùn)驅(qū)動(dòng)。

　　他告訴記者，在VR交互中，另一種方式就是手勢(shì)交互，原因在于，即使在虛擬世界里，人們也要追求自然、便捷、靈活的方案，因?yàn)閺腜C到智能手機(jī)，人們已經(jīng)幾乎丟掉了鼠標(biāo)和鍵盤，在新一代產(chǎn)品里不應(yīng)該再撿起附加設(shè)備。但客觀的講，自然手勢(shì)交互還處于技術(shù)攻關(guān)階段，還有很大多問題需要解決。但毋庸置疑，手勢(shì)交互更自然，對(duì)VR沉浸感來說，是至關(guān)重要的一個(gè)方面，在VR中更有帶入感，在大眾化市場(chǎng)中更有前景

　　不同于VR,在AR環(huán)境中，手是看得到的，并且AR中有手的真實(shí)使用需求，這導(dǎo)致AR環(huán)境的交互方式不能使用手柄之類的設(shè)備，更趨向于不影響手的真實(shí)功能的交互方案。那么可選的就只有手勢(shì)、眼球、語(yǔ)音、腦電肌電這些稍微黑一點(diǎn)的科技，這里面語(yǔ)音識(shí)別已經(jīng)很成熟了，但是通過對(duì)話的方式來拖動(dòng)某個(gè)東西是很違和的。那么來看，從技術(shù)成熟度，適用范圍來看，手勢(shì)交互更有優(yōu)勢(shì)。Hololens選擇的就是手勢(shì)的方案，其他的方式可以作為輔助，使得AR的交互更立體、便捷。“可以看到，手勢(shì)交互在VR中有前途，在AR中有地位，隨著技術(shù)的成熟，將會(huì)得到越來越多的應(yīng)用。”

　　精準(zhǔn)識(shí)別手勢(shì)是個(gè)技術(shù)活!

　　手勢(shì)交互并不是簡(jiǎn)單地識(shí)別幾種固定的手勢(shì)，也不是跟蹤五個(gè)指尖，而是要在看得到的情況下，能夠?qū)崟r(shí)識(shí)別出當(dāng)前手的狀態(tài)，例如手型是什么，角度如何，距離有多遠(yuǎn)等等。

　　王曉濤透露，目前流行的是通過骨骼來模型化手，就包括關(guān)節(jié)點(diǎn)、骨骼的長(zhǎng)度、骨骼間的角度。常用的量化模型有NYU的14個(gè)關(guān)節(jié)點(diǎn)模型、帝國(guó)理工的16關(guān)節(jié)點(diǎn)模型、MSRA21個(gè)關(guān)節(jié)點(diǎn)模型等等。不同方式表達(dá)量化的精度是不一樣的，通常用多少個(gè)自由度來刻畫手模型的精度，比如微軟的26個(gè)自由度。

　　“手勢(shì)交互關(guān)鍵技術(shù)基本包括，檢測(cè)、跟蹤、回歸、手模型優(yōu)化一套整體的流程。”王曉濤舉例道，首先設(shè)備要能找到手的位置，識(shí)別出手的關(guān)節(jié)點(diǎn)，使得串聯(lián)起來的關(guān)節(jié)點(diǎn)像一只手;其次找到手之后，需要確定各個(gè)關(guān)節(jié)的位置。他介紹到，方法有基于點(diǎn)云匹配的，通過球模型或者球棍模型與檢測(cè)到的手的點(diǎn)云匹配;也有直接回歸坐標(biāo)點(diǎn)的，每個(gè)點(diǎn)有兩維或者三維，按順序給出所有點(diǎn)的預(yù)測(cè)值。

　　他還特別強(qiáng)調(diào)關(guān)于手的結(jié)構(gòu)約束。這個(gè)技術(shù)主要有兩類，一類是分段式的，先得到各個(gè)關(guān)節(jié)點(diǎn)，通過后處理的方式使得鉸接在一起的關(guān)節(jié)點(diǎn)得到的手不是畸形的;另一類是end-to-end的，將手的模型約束直接融入到關(guān)節(jié)點(diǎn)回歸中，或者直接回歸3D手的pose等。他強(qiáng)調(diào)，這一環(huán)節(jié)十分重要，起著很明顯的作用。

　　手勢(shì)交互正處在***的發(fā)展機(jī)遇

　　當(dāng)然，王曉濤也坦言，到目前為止手勢(shì)交互目前還有很多問題亟待解決，例如需要提高識(shí)別的精度與穩(wěn)定性，算法萬(wàn)年不變的話題。他舉了一個(gè)例子，在VR/AR環(huán)境中，人們要做到實(shí)時(shí)，不能占用太多計(jì)算資源，有可能還是在移動(dòng)端運(yùn)行，并且算法是deep learning這種，算法的優(yōu)化加速面臨極大的挑戰(zhàn)。

　　除此之外還需要解決視覺盲區(qū)問題、反饋問題等。以反饋問題為例，在AR/VR中手勢(shì)交互的反饋比較麻煩，人們沒有觸覺體驗(yàn)，目前有通過設(shè)備提供觸碰感的，還有多元反饋機(jī)制，例如通過聲音等元素來營(yíng)造氣氛。也正因如此，手勢(shì)交互還有很長(zhǎng)的路要走。

　　王曉濤告訴記者，手勢(shì)識(shí)別已經(jīng)發(fā)展了這么多年，但是之前一直沒有普及開，以至于很多人開始懷疑這個(gè)***的真?zhèn)涡裕@是為什么呢?因?yàn)橐酝男枨笫羌傧氤鰜淼?，例如希望用手?shì)代替鼠標(biāo)，代替遙控器，但是終究是可用可不用，并且有可能還不好用。一方面之前由于技術(shù)和計(jì)算能力的問題，手勢(shì)性能比鼠標(biāo)遙控器差，另一方面還是應(yīng)用場(chǎng)景需求度低，體現(xiàn)不出來手勢(shì)的優(yōu)勢(shì)。

　　“但VR和AR，對(duì)手勢(shì)來說，恰恰是一個(gè)好的時(shí)機(jī)，首先像我們前面說的手勢(shì)是AR/VR交互中優(yōu)先級(jí)很高的交互方案，另外現(xiàn)在移動(dòng)設(shè)備的計(jì)算能力也變強(qiáng)了，可以說，與VR/AR結(jié)合，是手勢(shì)發(fā)展***的機(jī)會(huì)。”王曉濤十分肯定這一點(diǎn)。

【51CTO原創(chuàng)稿件，合作站點(diǎn)轉(zhuǎn)載請(qǐng)注明原文作者和出處為51CTO.com】