【W(wǎng)OT2018】梟龍科技謝輝:AR軟硬件開發(fā)技術(shù)與應(yīng)用
原創(chuàng)【51CTO.com原創(chuàng)稿件】2018年5月18-19日,由51CTO主辦的全球軟件與運維技術(shù)峰會在北京召開。此次峰會圍繞人工智能、大數(shù)據(jù)、物聯(lián)網(wǎng)、區(qū)塊鏈等12大核心熱點,匯聚海內(nèi)外60位一線專家,是一場高端的技術(shù)盛宴,也是頂級IT技術(shù)人才學(xué)習(xí)和人脈拓展不容錯過的平臺。
可穿戴設(shè)備的出現(xiàn)和移動設(shè)備性能的提升,讓AR技術(shù)持續(xù)升溫。如何借助AR技術(shù)輕松完成布局,提升企業(yè)核心競爭力就成為了大家關(guān)注的問題。在“AR創(chuàng)新技術(shù)實踐”分會場,梟龍科技XLOONG CTO謝輝帶來了《AR軟硬件開發(fā)技術(shù)與應(yīng)用》的主題分享。
梟龍科技XLOONG CTO 謝輝
針對當(dāng)前AR系統(tǒng)的發(fā)展及應(yīng)用現(xiàn)狀,謝輝對AR眼鏡、智能手機(jī)、互動大屏等AR硬件載體的特點和應(yīng)用開發(fā)注意事項進(jìn)行了詳細(xì)闡述,重點以AR眼鏡為例,講解了標(biāo)準(zhǔn)AR系統(tǒng)的架構(gòu),并對AR三大系統(tǒng),即成像系統(tǒng)、交互系統(tǒng)、定位追蹤系統(tǒng)的技術(shù)方案與技術(shù)架構(gòu)做了詳細(xì)分析,讓開發(fā)者了解不同開發(fā)平臺對應(yīng)用部署的要求。隨后,他還講解了AR人機(jī)界面開發(fā)的要點。最后結(jié)合已有的AR應(yīng)用案例,謝輝講解了AR在工業(yè)、軍事、新零售、安防等領(lǐng)域的應(yīng)用,并對一些應(yīng)用的技術(shù)方案進(jìn)行深入剖析。
謝輝表示,AR是一種能夠?qū)⒄鎸嵤澜缧畔⒑吞摂M世界信息“無縫”融合的新技術(shù),它通過電腦技術(shù),將虛擬信息疊加到真實世界,被人類感官所感知,讓人達(dá)到超越現(xiàn)實的感官體驗。據(jù)投行Digi-Capital預(yù)測,到2020年,全球AR市場規(guī)模將達(dá)到1200億美元。
回顧AR的發(fā)展歷史,早在1968年,薩瑟蘭發(fā)明了第一臺HMD,即頭戴顯示設(shè)備。1992年,AR名稱正式誕生。1999年,第一個AR開源框架Artoolkit誕生。2012年,谷歌眼鏡問世。2015年,現(xiàn)象級AR手游Pokemon GO風(fēng)靡全球,同年,微軟發(fā)布HoloLens。2017年,蘋果發(fā)布ARKit,谷歌也發(fā)布了ARCore,眾多手機(jī)應(yīng)用集成了AR功能。
AR應(yīng)用的載體
目前,AR應(yīng)用的載體主要是AR眼鏡和智能手機(jī)。AR眼鏡包括單目眼鏡、雙目眼鏡、全息眼鏡、光場眼鏡,這些眼鏡都有各自的特點以及應(yīng)用場景。
單目眼鏡:只在眼鏡的右上方有一個小的顯示視窗,這種眼鏡一般不會做虛實融合的應(yīng)用,只是做一些信息顯示,主要用于給運動騎行的用戶提供運動攝像拍照、信息顯示、導(dǎo)航、接打電話等功能。這種產(chǎn)品的市場比較小,在開發(fā)的時候,建議做成卡片式的UI。
雙目眼鏡:顧名思義,兩個眼鏡片都可以顯示,一般是在用戶的正前方,會有一個比較大的視場角。開發(fā)方式和手機(jī)比較類似,也是基于一些圖像點的識別開發(fā)一些應(yīng)用。雙目眼鏡和手機(jī)最大的區(qū)別就在于光學(xué)顯示。手機(jī)主要是利用顯示屏來顯示內(nèi)容,用攝像頭捕捉畫面在顯示屏上顯示出來。最終通過視頻的方式呈現(xiàn),做到虛實結(jié)合,用戶所看到的實景是通過攝像頭捕捉的畫面顯示在顯示屏上,而不是用戶真正透過手機(jī)來看。
AR眼鏡的差別是通過光學(xué),利用眼鏡片半透的物理特性,一部分的光線能夠穿透眼鏡片,看到外面的世界。用戶看到的虛擬物體就是通過實際顯示屏渲染出來的實際物體。所以,這是兩者最大的差別。在開發(fā)AR眼鏡應(yīng)用時,開發(fā)者需要注意不要把攝像頭的實際畫面直接全屏放到AR眼鏡上,這是由于畫面會遮擋住用戶一部分視野,同時,攝像頭的視角和人眼真實的視角還有很大的差別。
全息眼鏡:代表性的產(chǎn)品就是微軟的HoloLens,通過集成鏡片模組、手勢交互以及眾多的攝像頭實現(xiàn)了空間感知能力。HoloLens的應(yīng)用具有鉚定的效果,相當(dāng)于把某個應(yīng)用和程序直接鉚定在空間里面,不會隨著用戶頭部的移動而變換空間位置。
光場眼鏡:在提供上述交互的前提下,還具備光場顯示,利用光纖掃描的方式,在光圈上進(jìn)行成像,并具有深度信息。以往的AR眼鏡成像都是在同一個顯示平面上,而光場眼鏡成像是根據(jù)程序設(shè)置,可以在任意某一焦距進(jìn)行成像。因此,光場眼鏡具有很強(qiáng)的立體感,也會更加真實。
按照AR技術(shù)的發(fā)展趨勢,顯示交互技術(shù)將成為發(fā)展的核心。從眼鏡的顯示技術(shù)來看,已經(jīng)從小視場角,逐步發(fā)展到大視場角,然后再到加入深入感知信息的光場顯示技術(shù)。交互技術(shù)也從最傳統(tǒng)的觸摸板,到語音交互,再到手機(jī)交互,未來可能還將延伸出很多其他的技術(shù)交互方式。
AR系統(tǒng)解讀
一個典型的AR系統(tǒng)是由電源管理、音頻子系統(tǒng)、網(wǎng)絡(luò)連接、存儲幾部分組成,這也是傳統(tǒng)電子產(chǎn)品都會具備的部分。不同的是音頻子系統(tǒng)可能需要具備3D生成的功能,在模擬真實環(huán)境的時候,例如虛擬物體從左邊到右邊,其音頻子系統(tǒng)的生成也會模擬出相同的聲音效果。
同時,AR典型系統(tǒng)中還有一些特有的東西,例如GPU、光學(xué)模組、VPU、相機(jī)。GPU和光學(xué)模組構(gòu)成了AR系統(tǒng)中的成像系統(tǒng),把CPU需要顯示的動目,通過GPU渲染,然后傳輸給光學(xué)模組,最后由光學(xué)模組來成像。
相機(jī)和VPU組成了AR系統(tǒng)里的交互系統(tǒng)和追蹤系統(tǒng)。相機(jī)主要是采集外面的視覺信息,通過視頻處理器(VPU)進(jìn)行算法處理。例如像手勢交互的算法都可以放到VPU進(jìn)行處理,而CPU主要運行的是操作系統(tǒng)以及應(yīng)用層的軟件。
AR應(yīng)用案例
目前,AR技術(shù)已經(jīng)廣泛應(yīng)用于營銷、游戲、教育、工業(yè)、旅游、軍事等各個行業(yè)。
•AR+營銷:ARGO是一款手機(jī)購物APP,可自助完成AR掃描、上傳圖文視頻內(nèi)容;用于企業(yè)營銷送獎和用戶消費體驗的APP,包括“AR”、“商城”、“推薦”、“我的”等模塊。通過運營方和品牌商的合作,為其商品添加AR掃描、AR紅包游戲等營銷方式。對于品牌商,可以激活線下流量,增強(qiáng)品牌宣傳力度,對于消費者,則讓購物變得更簡單,更有趣。
•AR+新零售:借助虛擬大屏和攝像頭,可以實現(xiàn)虛擬試戴的效果,賦能新零售,某眼鏡售賣機(jī)項目借助普通RGB攝像頭,捕捉人臉特征點,根據(jù)特征點計算空間變換矩陣,建立虛擬眼鏡模型與實際現(xiàn)實場景的對應(yīng)關(guān)系,從而達(dá)到虛擬試戴的效果。
•AR+工業(yè)維修:AR眼鏡為裝備維修過程中提供操作指導(dǎo),將裝備的3D模型、工作原理、常見故障處理辦法呈現(xiàn)在眼前,手把手幫助現(xiàn)場服務(wù)人員解決復(fù)雜裝備的維修問題,以減少人為差錯,提高維修質(zhì)量。服務(wù)人員也可以呼叫專家遠(yuǎn)程協(xié)助。
•AR+工業(yè)巡檢:AR巡檢可將已有的巡檢內(nèi)容,包括圖文、視頻、3D動畫,通過XJWork進(jìn)行編輯,轉(zhuǎn)化成可視化巡檢材料,方便對巡檢資料管理,傳輸給AR智能眼鏡端,實施指引巡檢人員按照對應(yīng)的材料標(biāo)準(zhǔn)規(guī)范的完成巡檢工作,還方便對巡檢材料進(jìn)行管理,系統(tǒng)也可以對巡檢設(shè)備實時推送任務(wù)。
•AR+安防:包括身份識別、車牌識別、執(zhí)法識別、遠(yuǎn)程調(diào)度指揮四方面的應(yīng)用。AR安防可以勝任和執(zhí)法記錄儀同樣的工作,AR眼鏡前面的攝像頭主要用作執(zhí)法記錄,同時還帶有網(wǎng)絡(luò)模塊,通過內(nèi)置AR系統(tǒng)可以實現(xiàn)人臉識別、車牌識別、指揮調(diào)度。
據(jù)介紹,梟龍科技是一家為企業(yè)和消費者提供AR解決方案的科技公司,擁有自主研發(fā)的核心光學(xué)系統(tǒng)、計算機(jī)視覺、深度學(xué)習(xí)等AR與人工智能核心技術(shù),具備成熟的項目開發(fā)與交付流程。
經(jīng)過幾年的努力發(fā)展,梟龍科技已經(jīng)提供了完善的行業(yè)解決方案、硬件產(chǎn)品、光學(xué)產(chǎn)品以及軟件產(chǎn)品。主要就是通過自己的技術(shù)共建行業(yè)壁壘,讓技術(shù)產(chǎn)品化、讓產(chǎn)品商業(yè)化。目前,大多數(shù)的硬件產(chǎn)品都是通用化的平臺產(chǎn)品,針對各行各業(yè)的特點,梟龍科技開發(fā)出了差異化的AR眼鏡,同時結(jié)合很多垂直的行業(yè)領(lǐng)域,推出整合的行業(yè)解決方案。
講師簡介
謝輝, 2013年碩士畢業(yè),大學(xué)期間參與多個輪機(jī)模擬器項目的研發(fā),獲得過遼寧省電子設(shè)計大賽一等獎及遼寧省優(yōu)秀畢業(yè)生。畢業(yè)后就職于華為技術(shù)有限公司從事手機(jī)研發(fā),積累了豐富的研發(fā)及產(chǎn)品管理經(jīng)驗,曾主導(dǎo)多款“百萬發(fā)貨級”智能手機(jī)的設(shè)計,2015年從華為離職聯(lián)合創(chuàng)辦北京梟龍科技有限公司,擔(dān)任首席技術(shù)官,負(fù)責(zé)公司技術(shù)團(tuán)隊管理、項目管理及技術(shù)規(guī)劃,對AR軟硬件開發(fā)技術(shù)及AR落地應(yīng)用有深刻的理解。
以上內(nèi)容是51CTO記者根據(jù)梟龍科技XLOONG CTO謝輝在WOT2018全球軟件與運維技術(shù)峰會的采訪內(nèi)容整理,更多關(guān)于WOT的內(nèi)容請關(guān)注51cto.com。
【51CTO原創(chuàng)稿件,合作站點轉(zhuǎn)載請注明原文作者和出處為51CTO.com】