什么是混合現(xiàn)實?定義、工作和應用程序
混合現(xiàn)實結合了真實和數(shù)字元素,使它們可以通過3D全息圖相互作用。
混合現(xiàn)實被定義為一種沉浸式技術,它將物理世界的元素與數(shù)字世界的元素結合起來,使它們能夠相互交互,通常是通過3D全息圖。本文定義了混合現(xiàn)實,描述了它是如何工作的,并解釋了這種新興技術的應用。
混合現(xiàn)實是一種沉浸式技術,它結合了物理和數(shù)字元素,使它們能夠相互交互。這通常是通過3D全息圖完成的。
繼大型機、個人電腦和手機之后,混合現(xiàn)實將是下一場計算革命。“混合現(xiàn)實”一詞是由PaulMilgram和FumioKishino在1994年的一項名為“混合現(xiàn)實視覺顯示分類學”的研究中提出的。
他們的工作調查了沉浸式虛擬連續(xù)體的概念和可視化的分類。從那時起,混合現(xiàn)實的使用已經擴展到包括地理映射和錨定,手跟蹤,語音輸入,以及3D資產的協(xié)作,以及顯示。
消費者和企業(yè)對混合現(xiàn)實的使用現(xiàn)在很普遍。它提供了與我們家里、工作場所以及同事之間數(shù)據(jù)的直觀連接,將我們從屏幕束縛的體驗中解放出來。
全球數(shù)以百萬計的互聯(lián)網用戶使用他們的移動設備體驗過混合現(xiàn)實。移動AR提供了當今社交媒體上最流行的混合現(xiàn)實解決方案。用戶可能不知道Instagram的增強現(xiàn)實(AR)濾鏡代表了混合現(xiàn)實體驗。
混合現(xiàn)實結合了數(shù)字世界和物理世界,使人類、計算機和環(huán)境之間的有機和直觀的3D交互成為可能。計算機視覺、圖形化實現(xiàn)、音頻和視覺技術、輸入法和云計算的發(fā)展促成了這一新的現(xiàn)實。
由于有效開發(fā)混合現(xiàn)實體驗的困難,我們仍然處于MR發(fā)現(xiàn)的第一階段。然而,前景是無限的?;旌犀F(xiàn)實編程使數(shù)字事物能夠與實際環(huán)境交互,使個人能夠與虛擬方面互動,就像它們是真實的一樣。創(chuàng)造真正的MR體驗需要復雜的輸入傳感器以及軟件開發(fā)工具包(sdk)。
混合現(xiàn)實讓我們:
?加快創(chuàng)新:使用混合現(xiàn)實,施工或設計團隊可以簡單地生成項目的數(shù)字雙胞胎,并以最小的浪費和成本測試創(chuàng)新概念。有了MR,你可以很快地嘗試許多材料和概念。
?簡化協(xié)作:想象一下,能夠與相隔數(shù)百英里的同事一起構建一輛新汽車的全息演示。像VR和AR這樣的混合現(xiàn)實技術,使開發(fā)更具吸引力的共享和互動體驗成為可能。
?減輕工作量:混合現(xiàn)實耳機上的攝像頭可以實時向同事提供材料,允許專業(yè)人員對他們觀察到的內容(例如另一個團隊成員旁邊的機器圖片)發(fā)表評論,并提供清晰的實時指示。
?優(yōu)化培訓和發(fā)展:混合現(xiàn)實提供了巨大的培訓和發(fā)展可能性。公司可以利用混合現(xiàn)實技術為所有情況下的個人開發(fā)沉浸式培訓和發(fā)展機會。這不僅有助于發(fā)展肌肉記憶,還可以減少與某些訓練情況相關的危險。
MR,VR,AR
虛擬現(xiàn)實、混合現(xiàn)實和增強現(xiàn)實正在改變我們的生活方式和工作環(huán)境。
?虛擬現(xiàn)實(VR)是一種計算機生成的、交互式的真實或人工場所或活動的表示。
?混合現(xiàn)實(MR)是現(xiàn)實世界和計算機生成組件的交互式表示或透視圖。
?增強現(xiàn)實(AR)是一種結合計算機生成裝飾的現(xiàn)實世界視角。
如今,外科醫(yī)生可以使用虛擬現(xiàn)實手術臺進行救生手術培訓。在AR眼鏡的幫助下,廚師可以在準備飯菜時看到詳細的說明。很快,巨大的混合現(xiàn)實倉庫將開始根據(jù)浮動包裝說明裝載裝運箱。
VR、AR和MR這三個術語通常是可以互換的。對許多人來說,虛擬現(xiàn)實是一個包羅萬象的短語,指的是計算機生成的、逼真的東西。然而,這些詞很容易區(qū)分。混合現(xiàn)實本身就是一種技術,具有自己的特性、功能和應用程序。
沉浸式體驗為混合現(xiàn)實提供了最具洞察力的視角之一。微軟(Microsoft)等沉浸式技術先驅認為,混合現(xiàn)實與虛擬現(xiàn)實和增強現(xiàn)實并駕齊驅。這個光譜也被稱為“虛擬連續(xù)體”。
在光譜的一個極端是物理的,現(xiàn)實世界的環(huán)境中,人類生活和與實際物體互動。由計算機程序和軟件構成的生態(tài)系統(tǒng)則處于另一個極端。
雖然你是在現(xiàn)實世界中,但你在虛擬現(xiàn)實(VR)中與之互動的大部分材料都是虛擬的。增強現(xiàn)實(AR)更接近物理現(xiàn)實,在物理現(xiàn)實中,你查看和交互的絕大多數(shù)信息都是真實的,幾乎沒有數(shù)字增強。與這兩種互補的技術相比,混合現(xiàn)實處于光譜的中心。
使用混合現(xiàn)實技術,你可以通過全息圖將虛擬內容放置在實際環(huán)境中,并與它們進行交互,就像它們在實際環(huán)境中一樣。通過生成虛擬形象并將信息通過云存儲發(fā)送到所有其他支持mr的空間,您還可以將自己沉浸在虛擬世界中。
混合現(xiàn)實如何運作
混合現(xiàn)實在云計算和人工智能的幫助下發(fā)揮作用。MR設備使用強大的AI傳感器、鏡頭、圖形處理單元(GPU)以及顯卡或核心芯片在三個軸或維度上處理和存儲數(shù)據(jù)。設備的功能越多,混合現(xiàn)實體驗就越好。例如智能眼鏡、手套、緊身衣和智能手機。
MR設備可以將消費者連接到無線或有線計算機、控制臺或PC以訪問軟件。該程序可以添加,復制或重新定位虛擬物品,以創(chuàng)建沉浸式環(huán)境?,F(xiàn)代混合現(xiàn)實頭盔,如Hololens,可以生成高保真的設置,讓用戶參與虛擬活動,從而消除界限,將現(xiàn)實和技術分開。
除了耳機,以下是其他四種使用MR的設備:
1.智能手機和其他移動設備
隨著時間的推移,平板電腦和智能手機等移動設備的計算能力和移動性不斷增強。許多現(xiàn)代移動設備已經為MR應用程序開發(fā)了工具包。這些工具使開發(fā)人員能夠在現(xiàn)實世界的鏡頭上疊加計算機圖像。
雖然基于ar的娛樂應用程序已經被證明是有效的,但專業(yè)和實用應用程序已經開始包含MR元素。由于移動設備的普遍存在,其顯示技術是MR增長和接受的關鍵因素。
2.平視顯示器(HUD)
平視顯示器(HUD)將3D圖形直接投射到用戶面前,而不會明顯模糊他們的周圍環(huán)境。一個標準的HUD由三個部分組成:
?一個屏幕-負責疊加HUD的圖形,
?組合器-圖形被投影到的表面
?一臺計算機——將其他兩個組件結合在一起,執(zhí)行任何必要的實時計算或調整
最初,原型hud在軍隊中用于協(xié)助戰(zhàn)斗機飛行員作戰(zhàn)。然而,它們最終演變?yōu)閰f(xié)助航空的所有要素。混合現(xiàn)實hud可以將3D圖像和數(shù)據(jù)可視化與運輸和移動車輛結合起來。
3.360度沉浸式環(huán)境(CAVE)
洞穴自動虛擬環(huán)境(Cave)是一個場景,在這個場景中,一個人被上方和下方的四面投影屏幕包圍。作為投影的補充,3D眼鏡以及環(huán)繞立體聲為用戶提供了一種旨在復制實際環(huán)境的透視感。自開發(fā)以來,工程師們已經使用CAVE系統(tǒng),創(chuàng)建和測試混合現(xiàn)實產品原型。
4.頭戴式顯示器或MR眼鏡
頭戴式顯示器(HMD),放置在整個頭部或眼睛旁邊,是一種通過一個或兩個鏡頭將圖像直接投射到用戶眼前的設備。它廣泛應用于健康、休閑、航空航天和工程部門,并提供了傳統(tǒng)顯示器無法實現(xiàn)的視覺參與水平。
頭戴式顯示器在MR娛樂客戶中非常受歡迎。然而,大多數(shù)頭戴式顯示器仍然是虛擬現(xiàn)實顯示器,不包括實際環(huán)境。微軟的HoloLens是一款MR頭戴式顯示器(HMD),在醫(yī)學和工程領域都有應用。它讓臨床醫(yī)生對現(xiàn)實世界有了更深入的了解。MagicLeap公司開發(fā)了一款類似的設備,在私人和消費者市場都有潛力,它創(chuàng)造了一款出色的增強現(xiàn)實HMD。
除了包含前端體驗的顯示之外,環(huán)境感知和高級用戶輸入也為混合現(xiàn)實提供了動力。近幾十年來,輸入技術繼續(xù)塑造著人與計算機之間的界面。
人機交互(HCI)是一個新的研究領域,包括鍵盤、鼠標、觸摸、筆,甚至語音識別。傳感器技術和處理能力的進步正在創(chuàng)造基于HCI輸入技術的新的計算機感知設置。這就是為什么MR使用應用程序編程接口(api)來記錄一個人在真實環(huán)境、表面和極限、環(huán)境照明和物理位置中的身體位置。
創(chuàng)造真實的混合現(xiàn)實體驗需要整合三個基本元素:由云驅動的計算機處理、改進的輸入技術和環(huán)境意識。我們在物理世界中的行動被數(shù)字空間追蹤。在制造工廠中,物理邊界會影響混合現(xiàn)實,如游戲和基于任務的輔助。有了上下文輸入和感知,物理世界和數(shù)字世界開始融合。
混合現(xiàn)實的應用
以下是混合現(xiàn)實的一些最引人注目的應用:
1.讓體育和娛樂更讓粉絲身臨其境
開發(fā)人員目前正在開發(fā)其他混合現(xiàn)實應用程序,可以產生類似的體驗,比如在音樂會中,你最喜歡的表演者與數(shù)字道具互動,在足球游戲中,動作似乎發(fā)生在你的客廳里。美巡賽(PGATour)的球迷可以使用一款應用程序,該應用程序在幾年前將高爾夫球場渲染成3D。美巡賽還計劃將HoloLens用于賽事設置和高爾夫球場規(guī)劃,而球員可以在球場上第一次擊球前,利用混合現(xiàn)實準備自己的策略。
2.在遠程位置工作和協(xié)作
使用混合現(xiàn)實,任何組織的員工都可以與客戶或其他同事一起工作,即使他們不在同一個區(qū)域。在實時翻譯工具的幫助下,語言障礙將毫無困難地消除。如果視頻會議或Skype電話讓你印象深刻,那么混合現(xiàn)實會議將更具革命性。例如,美國國家航空航天局(NASA)與微軟(Microsoft)合作開發(fā)了OnSight項目,該項目使科學家和工程師能夠虛擬地出現(xiàn)在火星上。
4.在游戲中融入社交元素
在虛擬游戲中添加社交元素是MR在游戲中最受歡迎的使用案例之一。虛擬游戲通常將數(shù)字事物的體驗限制在頭戴式耳機的個人身上,導致了一種孤獨的游戲體驗。但是MR有潛力通過建立虛擬社區(qū)來克服這個問題。換句話說,許多玩家可以通過眾多的耳機和全息化身享受相同的游戲體驗。
5.提高電子學習中的知識保留和安全性
MR可以通過三維展示信息來增強在線學習。這種方法將幫助孩子們形成持久的記憶,更好地理解他們正在學習的東西。這一概念也可用于安全和健康以及工業(yè)維護和維修方面的培訓。這一策略幫助學生通過一種虛假的“親力親為”的方法獲得知識,而沒有損壞的危險。
更多信息:什么是空間分析?定義,工作和例子
6.提供全新而獨特的客戶體驗
MR可能有助于模糊實體店和網上購物體驗之間的界限。例如,通過機器學習和計算機視覺,移動零售應用程序將自動識別商店中的所有商品,并將其添加到用戶的購物籃中。用戶可以選擇購買這些物品,收藏它們以供后續(xù)購買,甚至與朋友分享。當使用MR眼鏡在這種情況下,你將能夠訪問書簽項目,評級,和更多的商店。MR還可以幫助消費者快速識別并從商店獲得他們需要的物品。
7.讓醫(yī)療更有效、更準確
磁共振技術在醫(yī)療應用程序中的應用有可能徹底改變醫(yī)療保健行業(yè)。通過AR和VR技術的結合,外科醫(yī)生將能夠更有效地治療他們的病人。他們將能夠使用混合現(xiàn)實技術研究3D患者的計算機斷層掃描(CT)或磁共振成像(MRI)圖像。這可能會幫助外科醫(yī)生找到要進行手術的確切身體部位,使他們能夠成功地進行手術。
8.改變政治集會和競選活動
政治事件就是能吸引大量觀眾的一個例子。在政治集會期間,官員們確保所有的安全防范措施都到位。然而,這些安排有時證明是不夠的。任何觀眾都有可能對公眾人物構成危險。在這種情況下,使用MR可能有助于防范意外事件。使用混合現(xiàn)實技術,政治演講者可以在遠程出現(xiàn)時安全地在集會上講話。
9.簡化生產和其他工業(yè)流程
公司正在工作場所嘗試數(shù)字孿生。數(shù)字孿生是為創(chuàng)建、評估和驗證而創(chuàng)建系統(tǒng)、流程甚至機器的非常逼真的副本的過程。
數(shù)字雙胞胎為技術人員提供了模擬和應對各種技術挑戰(zhàn)所需的知識。雖然數(shù)字孿生是在工業(yè)領域發(fā)展起來的,但它適用于任何領域。數(shù)字孿生還可以用于跨行業(yè)應用程序用例,如基礎設施和自動化。
10.打造更好的產品
在MR設備上使用3D建模應用程序,專家可以在虛擬環(huán)境中創(chuàng)建與他人共享的產品。這種全面的3D建模和協(xié)作形式允許工程師識別缺陷,并允許實時修改他們的想法。
協(xié)作平臺使管理人員能夠實時分析和檢查3D設計。MR越來越受歡迎的另一個原因是,它能夠將三維模型投射到各種建筑和材料上,而不需要3D打印的成本。這可以幫助工程師可視化進度和檢查設計質量。
結語
混合現(xiàn)實市場正在蓬勃發(fā)展。根據(jù)最大化市場研究(MMR)的數(shù)據(jù),2021年全球MR市場價值8.11億美元。預計到2029年將超過15億美元,以驚人的44.5%的速度增長。這是由于混合現(xiàn)實在不同行業(yè)和垂直領域的多種應用,以及人機交互、人工智能和高速數(shù)據(jù)處理的進步。