HTC Vive VR行業(yè)應(yīng)用負(fù)責(zé)人馬杰思 :HTC Vive與房間級虛擬現(xiàn)實(shí)體驗(yàn)
原創(chuàng)2016年04月22日,由51CTO傳媒主辦的《中國首屆VR/AR技術(shù)大會》在北京駿馬國際酒店召開。我們邀請了業(yè)界知名的技術(shù)精英來分享VR/AR熱度下最前沿的探索,交流觀點(diǎn)并進(jìn)行實(shí)踐分享,志在打造一屆真正有干貨有內(nèi)容產(chǎn)出的技術(shù)盛會。除了技術(shù)交流分享外,我們還設(shè)置了現(xiàn)場體驗(yàn)專區(qū),提供***的***的VR設(shè)備供您體驗(yàn)VR游戲、電影場景等。
下面是來自HTC Vive VR行業(yè)應(yīng)用負(fù)責(zé)人馬杰思先生給大家?guī)淼氖侵黝}為《HTC Vive與房間級虛擬現(xiàn)實(shí)體驗(yàn)》的精彩演講實(shí)錄。
馬杰思,目前在全球領(lǐng)先的VR公司HTC Vive工作。之前曾先后在虛擬現(xiàn)實(shí)、計(jì)算機(jī)視覺、人工智能等技術(shù)領(lǐng)域從事產(chǎn)品和商務(wù)工作。對VR行業(yè)格局和趨勢、產(chǎn)品觀念和認(rèn)知、技術(shù)原理和邊界都有個(gè)人的思考與總結(jié)。曾在美國喬治梅森大學(xué)攻讀博士并任校學(xué)聯(lián)會主席,并擁有北大碩士和北航本科學(xué)位。
【以下為現(xiàn)場演講實(shí)錄】
大家好!我是HTC Vive中國區(qū)的行業(yè)應(yīng)用負(fù)責(zé)人,大家如果對VR行業(yè)有一個(gè)了解很清楚,有一個(gè)叫法所謂的三大頭銜,HTC Vive是其中之一,而且是目前進(jìn)入中國市場的,中國的總部設(shè)在北京。
HTC Vive這款設(shè)備包含了VR頭顯,兩個(gè)無線的手柄,還有兩個(gè)激光定位的基站,這套設(shè)備加在一起,我們把它稱之為目前最完整的VR體驗(yàn)。我們這個(gè)設(shè)備坐著玩、站著玩、走著玩三種都支持,尤其是走著玩,在一個(gè)4.5×4.5大小的房間,可以實(shí)現(xiàn)自由移動(dòng)的VR體驗(yàn)。VR這個(gè)講是不容易講明白的,我們來看一段視頻,我們看一下自由移動(dòng)式的VR體驗(yàn)是什么樣的感覺。像這么一個(gè)特別***的VR頭顯,要做出來需要什么條件呢?今天正好是51CTO的場合,我講一些偏技術(shù)方面的問題,但也不會特別深。
90分聽起來好像是評測話題,我們回想一下,在手機(jī)時(shí)代我們怎么做評測的?大家都記得安兔兔,當(dāng)時(shí)做手機(jī)評測我們通過CDU、CPU、閃存、內(nèi)存等一系列性能的疊加,我們打一個(gè)高分,高分覺得運(yùn)行流暢,體驗(yàn)特別好;低分我們就認(rèn)為它有一些卡頓。我個(gè)人認(rèn)為,無論是高分還是低分手機(jī),都能完成相同的任務(wù),都能完成用戶的需求,只不過解決用戶需求的性能和效率的高低與快慢之間的差異而已。
對于VR來說,一個(gè)90分的頭顯和一個(gè)40分頭顯之間的差異,僅僅讓手機(jī)運(yùn)行效率上的差異嗎?我們在市場上也可以看到,有非常多的頭顯,比如說在淘寶上輸入VR眼鏡,會出現(xiàn)四塊多、五塊多到六七千的都有,它們之間有一千倍價(jià)格的差異,到底差在哪里?4塊錢的VR頭顯,有沒有承載下一個(gè)計(jì)算平臺的革命。
要解釋清楚VR90分和40分差異在哪里?必須回到VR產(chǎn)品的定位和用戶需求,VR頭顯到底解決了什么樣的用戶需求?在VR行業(yè)里,這個(gè)話題說的比較少,但是在互聯(lián)網(wǎng)、手機(jī)行業(yè)大家討論的比較多。
VR的產(chǎn)品到底解決了什么?沉浸感。沉浸感大家也都知道,但是沉浸感到底是什么?我們怎么去理解沉浸感?但是你要去經(jīng)歷,看的更多才會體會沉浸感,沉浸感就是讓你戴上頭顯以后,以為自己身處在真實(shí)的世界中,你好像瞬間移動(dòng)到了另外一個(gè)世界,你自己渾然不知,有一種身臨其境的感覺。大家可能會覺得很可笑,我在我自己的屋子里,我戴一個(gè)頭顯,我難道不知道我自己在自己的屋子里嗎,現(xiàn)在的頭顯通過雙目的視覺、交互、聲音等技術(shù),就是能夠欺騙你的感官,讓你以為有這么一個(gè)效果。我們下面來看一段視頻,也是在演示中看到用戶的反應(yīng),這個(gè)用戶在玩的不是特別恐怖的游戲,是一個(gè)可愛的游戲,是白天的,有一群長的很可愛的僵尸,大家可以看一下她的反應(yīng)。
我自己給上百個(gè)玩家做過這樣的演示,我自己也經(jīng)常能夠看到這樣的場景,隨著我做的演示越來越多,隨著我看到大家發(fā)出的尖叫聲越來越多,看到躺在地上不敢起了人越來越多,我覺得在這個(gè)場景挺有戲的。這樣的反應(yīng),在我們?nèi)粘I钪惺呛茈y聽到的,也很難看到這樣的尖叫聲,看到大家在使用虛擬的媒介,在使用一個(gè)智能終端的,有發(fā)生這樣的反應(yīng),幾乎是沒有看到的。VR能夠給用戶帶來一種全新的體驗(yàn),而VR它的頭顯又大,又笨重,又不好用,功能設(shè)計(jì)沒有達(dá)到現(xiàn)在智能設(shè)備水平。但是VR走出來,就必須提供全新的體驗(yàn),這就是VR能夠帶來的全新體驗(yàn),這是其他所有的媒介目前都沒有辦法帶來的。
因此,VR的核心是追求***的,對虛擬世界的模擬,它要欺騙我們的視覺、聽覺、交互,也許未來還有觸覺、嗅覺,雖然我們以為我們身處在真實(shí)的世界中,以此來實(shí)現(xiàn)沉浸感。隨著這條道路越走越深,我們從業(yè)者一定制造出一個(gè)又一個(gè)更加真實(shí)的世界,一個(gè)更加能夠模擬真實(shí)世界的設(shè)備,這是VR努力的方向。
與此非常不同的,是大家經(jīng)常看到的AR概念,很多人會說VR跟AR一定會融合,***可能會走向“MR”的存在,這可能是非常遙遠(yuǎn)的未來。從現(xiàn)在這個(gè)階段來看,AR和VR解決了不同用戶的需求。VR的核心是追求***的,對現(xiàn)實(shí)世界智能的感知,實(shí)現(xiàn)互聯(lián)網(wǎng)服務(wù),在線下以及在日常生活中更智能的服務(wù)。比如說AR購物,我們到商場里看到它的價(jià)格,以及詳情,都會自動(dòng)在線下購物場景中顯現(xiàn)出來。我戴上VR眼鏡可以看到,在座的大家都是誰,這個(gè)取決于我要智能識別你的人臉,并且跟互聯(lián)網(wǎng)的數(shù)據(jù)做一個(gè)結(jié)合。AR和VR雖然都是眼鏡,但這兩種技術(shù)會不會融合,這是大家要去思考的問題。
因此我認(rèn)為90分和40分VR頭顯最核心的差異在于沉浸感,40分的VR頭顯是沒有辦法提供沉浸感的,也就是說它連最基本的用戶需求都沒有滿足,就不用再說增加體驗(yàn)、改善用戶反饋等。90分和40分不像手機(jī)一樣,是一個(gè)量變,完成相同的任務(wù)以不同的效率,它是一個(gè)質(zhì)變,目前VR的設(shè)備差異就在這兒,90分VR技能是非常重要的,對于一個(gè)VR成敗來說是很重要的,但是90分也非常難。
達(dá)到90分需要什么條件?首先,大于80度的市場角,我們?nèi)说囊暯鞘谴笥?80度,在HTC Vive擁有***的視角是110度,如果再小的話,沉浸感會下降,像HTC Vive設(shè)備,在未來一定會向著***的視場角進(jìn)程。
第二,大于1920×1080的分辨率。大家都知道,用普通的屏幕,1080實(shí)際上已經(jīng)非常的清晰,但是在VR里是不行的,因?yàn)閂R眼鏡緊貼在你的眼前,用兩個(gè)透鏡把畫面放大很大的視場角上,因此,你的眼睛會看到象素,像右邊的圖,它會有紗窗效應(yīng),你感覺透著紗窗看外面的世界;而只有大于1080P的分辨率,才有可能比紗窗效應(yīng)減弱。比如說蘋果的視網(wǎng)膜的分辨率,清晰度可能要16K的分辨率對于VR來說。
條件三,低余暉的OLED面板。普通的LCD和LED面板存在一個(gè)問題,當(dāng)你的頭在快速動(dòng)的時(shí)候,就會出現(xiàn)運(yùn)動(dòng)模糊的問題,畫面會出現(xiàn)脫影,只是因?yàn)榘l(fā)光時(shí)間過長,導(dǎo)致出現(xiàn)脫影問題。只有低于暉的OLED面板,由于發(fā)光時(shí)間特別短,因此不會脫影,你會你多快,畫面都非常的清晰。如果你是在兩毫秒以內(nèi)的發(fā)光時(shí)間,這個(gè)畫面是非常清晰,用普通的LCD屏幕,發(fā)光在12毫秒以上,畫面會非常的模糊,也會導(dǎo)致眩暈問題。
由于發(fā)光時(shí)間變短,因此我們需要更高的刷新率,否則的話,屏幕就會出現(xiàn)顯示器會閃爍的問題。在VR里,如果使用60HZ的刷新率,眼睛看著會感覺畫面一閃一閃的,這時(shí)候就會眩暈。高的刷新率還可以令游戲的體驗(yàn)更加流暢,右邊的114HZ是電競的顯示器,非常的順暢,只有這個(gè)才能給他們帶來高強(qiáng)度的電競的感覺。
條件五,低于20毫秒的運(yùn)動(dòng)到成像延時(shí),在用VR的時(shí)候,要頭動(dòng)。在動(dòng)頭的時(shí)候,你這個(gè)畫面要進(jìn)行更新,因?yàn)槟憧吹讲煌牡胤?,在頭顯慣性傳感器檢測到頭部運(yùn)動(dòng)到發(fā)射信號、到游戲引擎,說這個(gè)東西變了,然后到游戲引擎渲染新的畫面,新的畫面投影到屏幕上,屏幕上的畫面投影到眼睛里,整個(gè)鏈路延遲必須在20毫秒以后,否則會出現(xiàn)問題。比如說在安卓系統(tǒng)下,為什么手機(jī)盒子體驗(yàn)不好的重要原因,就是因?yàn)榘沧肯到y(tǒng)本身內(nèi)部的電路就是長于20毫秒。
條件六,預(yù)測算法和插幀算法。我們玩游戲都知道,由于場景復(fù)雜度不同,有的時(shí)候很簡單,我就只有一個(gè)角色,這個(gè)時(shí)候預(yù)算是不同的。在復(fù)雜場景情況下,玩游戲會出現(xiàn)掉幀這個(gè)事情。用普通的顯示器來玩,只要不掉幀,從六十掉到超過三十以下,我們的肉眼感覺不是特別的明顯,大家覺得三四十幀很好。但是在VR里,掉一幀都不可以接受,只要掉幀畫面是卡的,你的頭就覺得非常眩暈。我們大腦是非常有趣的生物,遠(yuǎn)的看掉多少幀都沒有事,但是掉一幀頭就受不了。
這六個(gè)條件加在一起,就達(dá)到60分。做到90分需要什么條件?條件七,6自由度的頭部位置跟蹤,你只能在一個(gè)軸上,你去做旋轉(zhuǎn)運(yùn)動(dòng),但是你沒有辦法往下往下做平移,如果想實(shí)現(xiàn)6自由度在外部安置一個(gè)傳感器。我們來看一下3自由度的頭部運(yùn)動(dòng),用戶的頭繞著一個(gè)圓點(diǎn)在旋轉(zhuǎn),他沒有辦法做更多的動(dòng)作。
這個(gè)是6自由度的狀況,說白了就是想怎么動(dòng)就怎么動(dòng)。往前往后都可以,這在虛擬區(qū)域里的交互是非常重要,這跟現(xiàn)實(shí)是一比一的。
條件八,6自由度的無線手柄。大家經(jīng)常說VR里交互不統(tǒng)一,大家仔細(xì)看這個(gè)圖,你覺得是交互不統(tǒng)一嗎?交互相對來說是比較統(tǒng)一的,三大頭顯廠商同樣使用了6自由度的兩個(gè)無線手柄做VR,小的廠商,也會對標(biāo)這樣的方案,因此,在***代的VR設(shè)備中,我們可以看到交互還是比較統(tǒng)一的,就是6自由度的兩個(gè)無線手柄方案。
條件九,房間級的定位跟蹤,這是HTC Vive獨(dú)有的功能。
這個(gè)是激光定位基站,我們把這兩個(gè)基站安裝在房間的兩個(gè)對角,頭顯連接到電腦,就可以實(shí)現(xiàn)在5×5米的空間內(nèi),360度無死角,想怎么動(dòng)就怎么動(dòng)的運(yùn)動(dòng)跟蹤,房間的大小是由用戶自己設(shè)定的,5×5米是***,如果你家里小,沒有關(guān)系,你可以自己設(shè)計(jì)房間大小,走著、站著、坐著都可以完成的。我們來一看房間級的是什么感覺?
針對不同的交互形式,美國的開發(fā)者做過一個(gè)統(tǒng)計(jì),30%的用戶反饋,坐著的VR體驗(yàn)是比較震撼的。70%的用戶反饋,站著不動(dòng)覺得比較震撼。像HTC ViveVR體驗(yàn)是90%的用戶覺得比較震撼。為什么自由移動(dòng)式這么重要?人類的移動(dòng)在VR中是非常糾結(jié)的問題,我們玩VR的時(shí)候,大部分是坐著玩的,我們遇到一個(gè)很嚴(yán)重的問題,我們在VR世界里要去探索,要去移動(dòng),這個(gè)時(shí)候,如果你在VR里是走的、跳的、跑的,你的視覺告訴這時(shí)候你在運(yùn)動(dòng),由于你是坐著,他會提醒你會坐著的,這時(shí)候大腦會出現(xiàn)矛盾,他就會眩暈。只要是坐著玩的游戲,絕大部分是做瞬間移動(dòng),是不能慢慢走過去的,否則眩暈,速度很慢還是可以接受,稍微快一點(diǎn),就會出現(xiàn)眩暈的問題。
只有HTC Vive房間級的VR體驗(yàn),在移動(dòng)前提下,實(shí)現(xiàn)了現(xiàn)實(shí)世界和虛擬世界一比一的對應(yīng),一比一的對應(yīng)可以給用戶帶來***程度的沉浸感,而且也不會導(dǎo)致眩暈。我用我自己的經(jīng)歷,我自己是比較敏感的人,我是暈機(jī)的,我玩HTC Vive的時(shí)候,我最長時(shí)間玩了一個(gè)半小時(shí),但是我沒有出現(xiàn)眩暈的問題,所以大家可以看到,這樣的一種,非常***的設(shè)備能夠給大家?guī)淼捏w驗(yàn)確實(shí)是非常好。
終于到90分,真的很難。比如說像條件八,有一些創(chuàng)業(yè)公司做的非常好,把條件八做了,他的估值就已經(jīng)上億,因此要把這么多全部做到,確實(shí)是一件比較難的事情,是一個(gè)比較適合大公司來做,而不是創(chuàng)業(yè)公司來做的。
這是VR紙盒的方案,唯一實(shí)現(xiàn)的大于80度視場角,HTC Vive這個(gè)設(shè)備目前可以實(shí)現(xiàn)最完整的體驗(yàn),大家也可以看到,評測上大概是這么做的。
我講一個(gè)比較重要的應(yīng)用,這樣一個(gè)設(shè)備,是非常適合用在商用產(chǎn)品上,它也非常適合是用在家用產(chǎn)品上,商用是HTC Vive非常強(qiáng)的一點(diǎn),由它的特性所決定的。我們來分析一下,現(xiàn)在商用VR行業(yè)的情況。
這個(gè)是很常見,大家在上場經(jīng)常能看到,VR的蛋椅,大家也都吐槽它,說它眩暈,沒有回頭率等等,有一系列的問題,實(shí)際上這些問題,蛋椅這個(gè)形態(tài)是可好的,只是有的廠商在做蛋椅生意的時(shí)候,比較粗暴,不會去選擇對應(yīng)蛋椅交互的內(nèi)容。他坐在這兒,里面在跑、跳,這時(shí)候很多人玩就會出現(xiàn)眩暈的問題。椅子振動(dòng)的方式跟游戲的方式不吻合,就把用戶振暈了。假設(shè)蛋椅振的方式跟里面的內(nèi)容是完全吻合的,就不會出現(xiàn)眩暈。HTC Vive也支持蛋椅,我們用在蛋椅上是沒有問題的。
針對蛋椅的這些問題,很多人在很早之前就已經(jīng)注意到,尤其他們看到了歐美一些項(xiàng)目之后受到了啟發(fā),就開始使用光學(xué)動(dòng)作捕捉的方案,比如說攝像頭,來做協(xié)作式的VR體驗(yàn),這樣的光學(xué)動(dòng)作捕捉的方案是有挺多優(yōu)點(diǎn),首先,空間做的比較大。其次,在這個(gè)空間里可以做很多自定義,可以做你想要的形狀,但是它的問題比較明顯,首先它部署是比較復(fù)雜,需要專業(yè)的技術(shù)人員做布局。針對CP來說,針對這個(gè)場景,游戲開發(fā)者做定制化的開發(fā),假設(shè)游戲開發(fā)者開發(fā)出來的游戲,在這個(gè)場景內(nèi)沒有獲得成功,把它移到其他的平臺上,這個(gè)成本是比較大的,也增大了游戲開發(fā)者的風(fēng)險(xiǎn),做這樣的設(shè)備,往往***方做內(nèi)容,或者深度合作做內(nèi)容,我覺得不是適合快速復(fù)制的方案,它有它非常好的優(yōu)點(diǎn),大家根據(jù)自己公司的業(yè)務(wù)形態(tài)做選擇。
HTC VIVE適合大規(guī)模復(fù)制特點(diǎn),有非常大精度,可以實(shí)現(xiàn)大空間移動(dòng)體驗(yàn),它即插即用,使用起來比較簡單。經(jīng)過培訓(xùn)以后,把它安裝起來,不會電腦的可以很容易的培訓(xùn),而且成本很低,頭顯幾千塊錢加上電腦幾千塊錢,加在一塊就是一萬多的價(jià)格。蛋椅比這個(gè)還要貴很多,蛋椅可能三五萬,這個(gè)比蛋椅還要便宜。而且是統(tǒng)一的交互方式,如果在這樣的線下體驗(yàn)場景中,一個(gè)游戲開發(fā)團(tuán)隊(duì)去做這個(gè)游戲他沒有做成功,可以把它改一下,變成2C的,把它放在內(nèi)容分發(fā)平臺上,可以很快的移植到平臺上,因?yàn)榻换ナ墙y(tǒng)一的,因此也能夠***程度的減少開發(fā)者的風(fēng)險(xiǎn)。開發(fā)者在這個(gè)年代面臨這么多風(fēng)險(xiǎn)的情況下,這樣平臺的選擇也是比較明智的,我們這個(gè)平臺上,已經(jīng)聚集了非常多的開發(fā)者。這樣的模式,是非常適合做大規(guī)模復(fù)制,如果做線下體驗(yàn)店,目前是很流行的一種方式。
線下體驗(yàn),大型的多人游戲,由于一些原因的影響,中國很多想要做線下大型游戲都是按照這樣的思路,把玩家放在同一個(gè)現(xiàn)實(shí)空間當(dāng)中,用光學(xué)動(dòng)捕的方案把大家捕捉到,在同一類游戲中做這個(gè)游戲。但是,這樣做,你會碰到有很多的問題。大家想,你戴上頭顯就看不到其他人,只能在虛擬世界中看到其他人,所以在現(xiàn)實(shí)當(dāng)中是不是把大家放在一起是不重要的,只要大家在虛擬世界中是在一起的,他就是在一起的。HTC Vive做游戲的思路也非常簡單,也非常容易大規(guī)模的復(fù)制,我們每個(gè)玩家處在自己的空間中,通過網(wǎng)絡(luò)進(jìn)行連接,讓他們在虛擬世界中同時(shí)處在一起,這個(gè)思路是HTC Vive未來的思路。下面有一個(gè)視頻,HTC Vive的游戲。
HTC針對中國市場有自己的內(nèi)容分發(fā)平臺,叫做viveport,這個(gè)模式跟手機(jī)應(yīng)用上的模式是一樣的,目前有幾十款的游戲在上面,會有游戲、影視等都在這個(gè)內(nèi)容分發(fā)平臺上。
目前HTC Vive在線下跟第三方公司合作,去開VR有了空間,我們平臺上的內(nèi)容已經(jīng)在非常高速的增長。在3月15號到4月15號之間,做了VR內(nèi)容開發(fā)者大會,國內(nèi)有非常多的開發(fā)者給我們提交了內(nèi)容。在4月26號,在北京有一個(gè)大會,我們會公布勝出游戲的名單,并且有很多的應(yīng)用,一些游戲在4月26號上做一個(gè)展示。
我們的設(shè)備在4月5號已經(jīng)開始發(fā)貨了,如果大家要買的話,可以在www.HTC Vive.com或者在天貓旗艦店買。
以上是51CTO.com記者從一線為您帶來的精彩現(xiàn)場報(bào)道。后續(xù)我們還有更加精彩的獨(dú)家報(bào)道,敬請關(guān)注。