蘋果利用“場(chǎng)景攝像頭重定向”提高VR頭顯的透視MR效果
(映維網(wǎng) 2021年01月26日)現(xiàn)在不少VR頭顯都會(huì)利用前置攝像頭納入AR透視功能。但傳統(tǒng)的透視視圖質(zhì)量有限,這是因?yàn)檠劬?、顯示器和攝像頭在空間中的位置不一致。糟糕的透視視圖會(huì)導(dǎo)致距離知覺受損、定向障礙和手眼協(xié)調(diào)性差。
所以,蘋果希望利用所謂的“場(chǎng)景攝像頭重定向”技術(shù)來幫助解決這個(gè)問題。
蘋果指出,在各種實(shí)施例中,通過變換由場(chǎng)景攝像頭捕獲的圖像來補(bǔ)償眼睛、顯示器和攝像頭的位置差異,以使其看起來像是在與用戶眼睛相同的位置捕獲,這可以緩解所述問題。一種形式的補(bǔ)償是基于平面世界的假設(shè):真實(shí)世界是一個(gè)單一深度的圖像。在各種實(shí)現(xiàn)中,所述深度以各種方式確定。
在一個(gè)實(shí)現(xiàn)中,MR視圖呈現(xiàn)模塊包括數(shù)據(jù)獲取單元、MR視圖呈現(xiàn)單元、單應(yīng)單元和數(shù)據(jù)發(fā)送單元。
在一個(gè)實(shí)現(xiàn)中,數(shù)據(jù)發(fā)送單元配置為至少向控制組件發(fā)送數(shù)據(jù)(如渲染數(shù)據(jù)和位置數(shù)據(jù)等)。
在一個(gè)實(shí)現(xiàn)中,數(shù)據(jù)獲取單元配置為從至少控制器組件獲取數(shù)據(jù)(如渲染數(shù)據(jù)、交互數(shù)據(jù)、傳感器數(shù)據(jù)、位置數(shù)據(jù)等。
在一個(gè)實(shí)現(xiàn)中,MR視圖呈現(xiàn)單元配置為經(jīng)由一個(gè)或多個(gè)顯示器呈現(xiàn)MR內(nèi)容。
在一個(gè)實(shí)現(xiàn)中,單應(yīng)單元配置成基于場(chǎng)景的深度,以及場(chǎng)景攝像頭的視點(diǎn)和用戶的視點(diǎn)之間的差異來變換場(chǎng)景的圖像。
簡(jiǎn)單來說,所述方法包括使用場(chǎng)景攝像頭捕捉場(chǎng)景的圖像;使用一個(gè)或多個(gè)處理器確定場(chǎng)景的深度;使用一個(gè)或多個(gè)處理器,基于場(chǎng)景攝像頭視點(diǎn)和用戶視點(diǎn)之間的深度和差異來變換場(chǎng)景的圖像;然后顯示器顯示變換后的圖像。
如上圖所示,5A是不佩戴頭顯時(shí)用戶應(yīng)看到的畫面;5B是由場(chǎng)景攝像頭捕獲并呈現(xiàn)的畫面,場(chǎng)景攝像頭的視點(diǎn)和用戶視點(diǎn)不同;5C則是應(yīng)用變換后的圖像。
在將5A與5B進(jìn)行比較時(shí),可以注意到,由于場(chǎng)景攝像頭的視點(diǎn)存在水平偏移,圖像中的對(duì)象看起來更近。另外,由于場(chǎng)景攝像頭的視點(diǎn)存在垂直偏移,圖像中的對(duì)象看起來較低。
在將5C的變換圖像與5A進(jìn)行比較時(shí),可以注意到5C的對(duì)象出現(xiàn)在與5A對(duì)象相同的高度和距離處。
相關(guān)專利: Scene camera retargeting
名為Scene camera retargeting的蘋果專利申請(qǐng)最初在2020年9月提交,并在日前由美國(guó)專利商標(biāo)局公布。
原文鏈接:https://news.nweon.com/82672