阿里創(chuàng)新三維定位地圖壓縮算法,論文成果入選頂會CVPR 2022
本文經(jīng)AI新媒體量子位(公眾號ID:QbitAI)授權(quán)轉(zhuǎn)載,轉(zhuǎn)載請聯(lián)系出處。
5月20日消息,阿里巴巴達摩院XR實驗室提出新的三維定位地圖壓縮算法,在保證視覺定位精度的前提下將地圖壓縮250多倍,使之可存儲于手機等端側(cè)設(shè)備。相關(guān)論文被計算機視覺頂會CVPR 2022收錄。據(jù)悉,該實驗室持續(xù)優(yōu)化自研三維算法,在建圖、定位等核心技術(shù)模塊屢有創(chuàng)新,多個論文成果先后被國際頂會收錄。
3D視覺定位是沉浸式互聯(lián)網(wǎng)的核心技術(shù)之一。標準的3D視覺定位方法需提前構(gòu)建特定場景的3D地圖,使之可與相機拍攝的2D圖片進行特征點匹配,以計算用戶的位置和姿態(tài)。但3D地圖體量巨大,對存儲空間需求較高,無法部署在內(nèi)存和帶寬有限的手機等移動設(shè)備。
業(yè)界對3D地圖的輕量化做了諸多探索,在前人工作基礎(chǔ)上,達摩院XR實驗室提出新方法SceneSqueezer,將3D地圖壓縮250倍以上,并使精度損失控制在較小范圍,實現(xiàn)模型大小和定位精度的平衡。
SceneSqueezer采用分層策略對3D地圖進行壓縮
根據(jù)論文SceneSqueezer: Learning to Compress Scene for Camera Relocalization,達摩院團隊采用分層策略對3D地圖進行壓縮,首先利用成對的共可見性信息對數(shù)據(jù)庫圖像進行聚類,將場景劃分為多個集群分別壓縮;其次,基于最終的位姿估計精度,學(xué)習選擇每個圖片的特征點;最后通過特征量化方法壓縮特征點的描述。該算法在Cambridge Landmarks、Aachen Day-Night等室外場景數(shù)據(jù)集上取得了優(yōu)于既有方法的表現(xiàn)。
達摩院XR實驗室高級算法專家董子龍介紹,XR團隊自研三維算法體系,在建圖、定位等核心技術(shù)模塊屢有突破,今年已有多篇論文入選頂會。如Quadtree Attention for Vision Transformer提出四叉樹注意力機制,提升了基于視覺任務(wù)的Transformer模型的性能,入選深度學(xué)習頂會ICLR 2022;Neural Window Fully-connected CRFs for Monocular Depth Estimation提出單相機深度估計算法,利用消費級全景相機就可完成深度估計任務(wù),大大降低三維建圖成本,文章被CVPR 2022錄用。
達摩院XR實驗室在杭州文三街開發(fā)的“AR打卡”項目
XR實驗室是達摩院新近成立的實驗室,致力于研究下一代互聯(lián)網(wǎng)技術(shù),該團隊研發(fā)的AR、VR技術(shù)已落地跨境電商、數(shù)字城區(qū)等多個場景,如為杭州文三數(shù)字生活街區(qū)建造1:1還原的三維“數(shù)字孿生體”,為杭州奧體中心10萬平米地下停車場開發(fā)AR導(dǎo)航服務(wù)等。