針對(duì)在時(shí)變的室外環(huán)境中難以視覺定位的問題，博士生顏深創(chuàng)新性地提出一種解決方案 SensLoc。SensLoc 利用移動(dòng)設(shè)備內(nèi)置的傳感器數(shù)據(jù)，如 GPS、指南針和重力傳感器，為視覺定位提供有效的初始位姿和約束條件，從而縮小圖像檢索和位姿估計(jì)的搜索空間。

此外，SensLoc 還設(shè)計(jì)了一個(gè)直接的 2D-3D 匹配網(wǎng)絡(luò)，以高效地建立查詢圖像與三維場(chǎng)景之間的對(duì)應(yīng)關(guān)系，避免了現(xiàn)有系統(tǒng)中需要多次進(jìn)行 2D-2D 匹配的低效方案。為了驗(yàn)證 SensLoc 的有效性，論文還構(gòu)建了一個(gè)新的數(shù)據(jù)集，該數(shù)據(jù)集包含了多種移動(dòng)傳感器數(shù)據(jù)和顯著的場(chǎng)景外觀變化，并開發(fā)了一個(gè)系統(tǒng)來獲取查詢圖像的真實(shí)位姿。大量的實(shí)驗(yàn)表明 SensLoc 可以在時(shí)變的室外環(huán)境中實(shí)現(xiàn)準(zhǔn)確、魯棒且高效的視覺定位。

論文地址：https://arxiv.org/pdf/2304.07691.pdf

背景

目前主流的視覺定位法先構(gòu)建查詢圖像的 2D 像素與參考地圖的 3D 點(diǎn)之間 2D-3D 的對(duì)應(yīng)關(guān)系，然后使用 PnP RANSAC 算法求解相機(jī)的六自由度位姿。對(duì)于大范圍的場(chǎng)景，常采用圖像檢索作為中間步驟，以預(yù)先確定場(chǎng)景的哪些部分可能在查詢圖像中可見。然而，在時(shí)變的室外環(huán)境中，由于光照、季節(jié)和結(jié)構(gòu)變化等因素導(dǎo)致的外觀差異，使得 2D-3D 匹配變得十分困難，因此在這種具有挑戰(zhàn)性條件下的視覺定位仍是一個(gè)未解決的問題。隨著配備了各種傳感器移動(dòng)設(shè)備的逐漸普及，如慣性測(cè)量單元（IMU）、重力計(jì)、指南針、GPS、WiFi 和藍(lán)牙等，結(jié)合視覺和多傳感器的位姿估計(jì)法，為在實(shí)際場(chǎng)景中準(zhǔn)確定位提供了一種新思路。

視覺定位的相關(guān)工作

1 基于三維模型的視覺定位

基于三維模型的視覺定位通過在查詢圖像和三維模型間建立 2D-3D 對(duì)應(yīng)關(guān)系，估計(jì)相機(jī)六自由度的位姿。傳統(tǒng)的視覺定位方法通常采用人工設(shè)計(jì)的局部特征，如 SIFT，來實(shí)現(xiàn) 2D-3D 匹配，并結(jié)合圖像檢索技術(shù)，將匹配范圍限制在查詢圖像的可見區(qū)域，以適應(yīng)大規(guī)模場(chǎng)景的需求。

近年來，隨著深度學(xué)習(xí)技術(shù)的發(fā)展，傳統(tǒng)的人工設(shè)計(jì)特征逐漸被基于深度學(xué)習(xí)的特征所替代。HLoc 是一種集成了多種基于深度學(xué)習(xí)的圖像檢索和圖像匹配方法的六自由度視覺定位框架，目前在該領(lǐng)域取得了最佳性能。然而，HLoc 仍然存在一些局限性。一方面，在檢索階段，全局特征不足以應(yīng)對(duì)場(chǎng)景中的復(fù)雜視覺變化，可能會(huì)出現(xiàn)誤檢索的情況。另一方面，在 2D-3D 匹配階段，需要多次的 2D-2D 圖像匹配作為中間過程，導(dǎo)致較低的運(yùn)行效率和較高的計(jì)算開銷。

為了解決這些問題，論文提出了一種基于自注意力和跨注意力機(jī)制的直接 2D-3D 匹配方法，該方法可以直接將二維查詢圖像與三維局部地圖進(jìn)行一次匹配，從而提高視覺定位的速度和準(zhǔn)確度。

2 基于多傳感器的視覺定位

在寬闊的室外環(huán)境下，GPS 能提供地理位置坐標(biāo)（經(jīng)緯高）。一些方法將 GPS 作為先驗(yàn)，以簡(jiǎn)化視覺定位中的圖像檢索任務(wù)；而另一些方法將 GPS 作為優(yōu)化中的約束項(xiàng)，以提高視覺里程計(jì)和視覺 SLAM 的定位精度。此外，IMU 傳感器測(cè)量的重力方向具有較高的精度，是一種常用的位姿先驗(yàn)。在可靠的重力方向引導(dǎo)下，以往的工作設(shè)計(jì)最小求解器（Minimal solvers）或者使用正則化項(xiàng)（Regularizers）約束來提升 PnP 的性能。然而，目前還沒有一種同時(shí)考慮多種傳感器的視覺定位方法。如今，手機(jī)和其他智能設(shè)備已經(jīng)配備了各種各樣的傳感器，包括陀螺儀、加速度計(jì)、指南針、GPS、Wifi 和藍(lán)牙等。因此，論文提出了一種新的視覺定位算法，以充分利用多種傳感器提供的先驗(yàn)信息。

方法

針對(duì)上述背景和相關(guān)工作，論文提出了一個(gè)結(jié)合視覺和多傳感器的三階段方法。

1 基于傳感器的圖像檢索

給定查詢圖 ，圖像檢索任務(wù)需要在參考圖像集里找到與查詢圖有共視關(guān)系的圖像子集：                  

之前的做法是用一個(gè)映射函數(shù)把查詢圖和參考圖映射到緊湊的特征空間，再使用最近鄰排序查找共視鄰居。由于映射函數(shù)的表征能力有限，在時(shí)變環(huán)境中，這套方法很可能失效。因此，論文提出使用傳感器位置和角度信息作為先驗(yàn)，提前縮小圖像檢索的搜索范圍。

數(shù)學(xué)上，查詢圖像的先驗(yàn)位姿表示為  ，其位置分量來源于 GPS，旋轉(zhuǎn)分量來自于重力計(jì)和指南針方向的集成。查詢圖像只需要在圖像子集  中檢索共視鄰居

其中， 表示經(jīng)緯度的 x-y 坐標(biāo)，表示相機(jī)的主軸方向。

2 直接的 2D-3D 匹配

給定查詢圖 和共視鄰居   ，2D-3D 匹配任務(wù)需要建立 像素點(diǎn)與 能觀察到的局部點(diǎn)云 之間的 2D-3D 對(duì)應(yīng)關(guān)系。

具體而言，首先使用多層級(jí)網(wǎng)絡(luò)提取查詢圖 和參考圖  的粗（用 表示）、細(xì)（用 表示）粒度特征，然后將局部點(diǎn)云 投影在參考特征圖上并進(jìn)行插值、平均，得到點(diǎn)云特征。

然后，使用帶注意力機(jī)制的網(wǎng)絡(luò)匹配查詢圖與局部點(diǎn)云的粗粒度特征，確定點(diǎn)云是否為查詢圖像所見，并初步確定它在圖像上的位置。使用注意力機(jī)制變換后的粗粒度圖像和點(diǎn)云特征分別為  ，概率匹配矩陣 表示為

通過互最近鄰和設(shè)定匹配閾值，粗粒度的 2D-3D 匹配 表示為

 為互最近鄰，為預(yù)設(shè)閾值。

最后，對(duì)于每一個(gè)粗匹配對(duì)應(yīng)的二維像素和三維點(diǎn)云  ，通過將點(diǎn)云的細(xì)粒度特征與在 附近裁剪出細(xì)粒度窗口特征  

進(jìn)行點(diǎn)乘，得到匹配概率并計(jì)算二維位置期望，獲取查詢圖像的亞像素 與局部點(diǎn)云 的精確對(duì)應(yīng)關(guān)系。

3 基于重力方向的 PnP RANSAC

給定 2D-3D 的對(duì)應(yīng)關(guān)系，之前的工作通常采用 PnP RANSAC 算法求解相機(jī)的六自由度位姿。論文在 PnP RANSAC 迭代中插入一個(gè)簡(jiǎn)單有效的驗(yàn)證模塊，以保證重力方向的正確性。具體地，對(duì)于 RANSAC 迭代生成的位姿假設(shè) ，其與傳感器位姿 在重力方向 上差值為

論文可采用條件 預(yù)先過濾掉大部分錯(cuò)誤位姿，實(shí)現(xiàn)更高效、魯棒的位姿解算。

數(shù)據(jù)集

論文構(gòu)建了一個(gè)新的數(shù)據(jù)集，用于驗(yàn)證所提方法的有效性。該數(shù)據(jù)集包括一個(gè)城市公園（約 31,250 平方米），包含植被、河流、建筑和人行道。作為一個(gè)公共區(qū)域，其不可避免地會(huì)經(jīng)歷各種場(chǎng)景的變化，例如不同光照、季節(jié)、天氣，運(yùn)動(dòng)的行人、車輛，甚至新的基礎(chǔ)設(shè)施建設(shè)。數(shù)據(jù)集的構(gòu)建流程如下圖所示。

1 三維參考地圖的構(gòu)建

論文采用全景相機(jī)采集參考圖像，以構(gòu)建三維參考地圖   。相較于單目相機(jī)，全景相機(jī)具有更高的采集效率。將 7,958 張全景圖像切分并轉(zhuǎn)換為針孔模型后，該數(shù)據(jù)集包括 47,780 張參考圖像。為了確定模型尺度并與地理坐標(biāo)系保持一致，該研究預(yù)先在全景相機(jī)上綁定了一個(gè) RTK 記錄儀，以記錄絕對(duì)地理坐標(biāo)。

2 查詢圖像采集

在三維參考地圖構(gòu)建完成半年后，該研究在相同地址中行走，并開發(fā)了一款安卓應(yīng)用程序 Acquisition Application（采集 APP），使用華為 P40 pro 和小米 Mix 3 手機(jī)拍攝視頻以采集查詢圖像，并通過綁定 RTK 記錄儀獲取拍攝時(shí)的地理位置信息。該采集 APP 能夠同時(shí)記錄手機(jī)內(nèi)置傳感器的數(shù)據(jù)，包括 IMU、重力計(jì)、指南針、藍(lán)牙、WiFi 和 GPS。拍攝視頻與所有傳感器均經(jīng)過硬件同步和細(xì)致校準(zhǔn)。由于論文關(guān)注于單圖的視覺定位，因此視頻序列會(huì)進(jìn)行采樣以生成不連續(xù)的單張圖像。

3 三維輔助地圖構(gòu)建與偽位姿真值生成

由于查詢圖像與三維參考地圖之間存在跨時(shí)節(jié)的變化，因此基于半年前構(gòu)建的三維參考地圖生成查詢圖像的偽位姿真值較為困難。論文提出在采集查詢圖像時(shí)，同時(shí)構(gòu)建一個(gè)三維輔助地圖  。三維輔助地圖的構(gòu)建方法與三維參考地圖類似，同樣使用全景相機(jī)和 RTK 記錄儀進(jìn)行采集，并采用 ICP 技術(shù)進(jìn)行對(duì)齊?；谌S輔助地圖生成查詢圖像的偽真值等同于基于三維參考地圖生成的偽真值。論文設(shè)計(jì)了一套聯(lián)合優(yōu)化方法生成偽真值，優(yōu)化項(xiàng)包括：1）圖像自定位約束；2）序列圖像的相對(duì)位姿約束；3）IMU 的運(yùn)動(dòng)約束；4）其他先驗(yàn)約束，如重力方向和 RTK 位置。

結(jié)果

1 圖像檢索

檢索結(jié)果如下表所示。即使傳感器先驗(yàn)本身不能輸出準(zhǔn)確的結(jié)果，但它可以用于提升基于全局特征的檢索方法性能。總的來說，將全局特征 OpenIBL 與相機(jī)主軸方向先驗(yàn)和 GPS 位置先驗(yàn)相結(jié)合，可以取得最好的檢索效果。

2 視覺定位

視覺定位結(jié)果如下表所示。在具有挑戰(zhàn)性的夜間條件下，由于 SensLoc 的 2D-3D 匹配不用提取關(guān)鍵點(diǎn)，該方法大幅優(yōu)于其他基線方法。此外，SensLoc 只需執(zhí)行一次由粗到細(xì)的匹配，該方法的運(yùn)行速度比效果排名第二的方法 HLoc（SuperPoint+SuperGlue）快 30 倍。另外，重力方向引導(dǎo)的 PnP RANSAC 不僅提高了精度，還將位姿估計(jì)的運(yùn)行速度提升了 4 倍?？梢钥吹?，在時(shí)變的室外環(huán)境中，通過視覺和多傳感器數(shù)據(jù)，可以實(shí)時(shí)求解出令人滿意的位姿。

3 消融分析

SensLoc 對(duì)圖像檢索結(jié)果的敏感性如下表所示。使用傳感器先驗(yàn)或真值檢索結(jié)果可以顯著提高視覺定位在(25cm, 2?)/(50cm, 5?)/(1m, 10?)的召回率。消融分析表明，圖像檢索結(jié)果對(duì) SensLoc 的位姿估計(jì)有著關(guān)鍵作用。

應(yīng)用前景

該研究成果在民用和軍事領(lǐng)域都有廣泛的應(yīng)用。在民用領(lǐng)域，該研究可用于自動(dòng)駕駛、機(jī)器人導(dǎo)航、混合現(xiàn)實(shí)等眾多應(yīng)用。在軍事領(lǐng)域，該研究可用于支持地面和空中有人/無人裝備，通過實(shí)景三維數(shù)字化戰(zhàn)場(chǎng)支撐拒止條件下的高精度自身定位與目標(biāo)指示。