自拍偷在线精品自拍偷,亚洲欧美中文日韩v在线观看不卡

聊一聊高精地圖的數(shù)據(jù)問題,無圖感知還有哪些坑要踩?

人工智能
本文的主要動機是提供一個更集中的關(guān)于高精地圖furniture特定視角的最新進展概述。雖然典型的高精地圖專注于道路段的繪制,但地圖furniture提供了關(guān)于道路段上重要對象的語義和視覺信息的額外上下文,例如車道線、標(biāo)志、柱子、樹木、橋梁、高坡等。

本文經(jīng)自動駕駛之心公眾號授權(quán)轉(zhuǎn)載,轉(zhuǎn)載請聯(lián)系出處。

在自動駕駛領(lǐng)域,高精地圖在定位、規(guī)劃和避碰等方面發(fā)揮著至關(guān)重要的作用,實現(xiàn)行車安全和高質(zhì)量路線預(yù)測。然而高精地圖的構(gòu)建都是昂貴、復(fù)雜的,而且專業(yè)性很強,無論是在硬件組成還是軟件及其所使用的算法方面。

一些研究人員針對上述幾個方面提供了幾篇高質(zhì)量的綜述:

(1)機器學(xué)習(xí)——綜述了機器學(xué)習(xí)尤其是深度學(xué)習(xí)在自動駕駛和高精地圖構(gòu)建方面的進展和應(yīng)用,如對象感知、檢測、分割和建模;

(2)范圍縮小到特定的輸入源——即LiDAR或圖像; (3)模態(tài)融合。

現(xiàn)有的綜述論文傾向于強調(diào)一般的道路furniture提取方法,而一些現(xiàn)有技術(shù)更側(cè)重于調(diào)查更特殊類型的furniture檢測和提取方法,例如軌跡標(biāo)志和車道線。

本文的主要動機是提供一個更集中的關(guān)于高精地圖furniture特定視角的最新進展概述。雖然典型的高精地圖專注于道路段的繪制,但地圖furniture提供了關(guān)于道路段上重要對象的語義和視覺信息的額外上下文,例如車道線、標(biāo)志、柱子、樹木、橋梁、高坡等。深入了解高精地圖furniture提供的功能提供了兩方面的好處:

(1)它改進了從光譜兩端的地圖furniture檢測和識別算法的設(shè)計——地圖構(gòu)建以及實時感知的質(zhì)量。

(2)能夠構(gòu)建更具可解釋性和健壯性的自動駕駛系統(tǒng)。

本文的組織結(jié)構(gòu)

(1)第二節(jié)從高精地圖背景領(lǐng)域的知識出發(fā),簡要介紹了高精地圖制作的歷史、應(yīng)用和要求,以及高精地圖制作的高水平工作。

(2)遵循一般高精地圖構(gòu)建工作的想法,接下來的部分將專注于數(shù)據(jù)獲取(第3節(jié)),furniture的表示和分類(第4節(jié)),以及furniture構(gòu)建(第5節(jié))。

(3)為了更好地理解高精地圖的實用性,作者還總結(jié)了可用的數(shù)據(jù)集(第6節(jié))以及評估指標(biāo)(第7節(jié))。

本文的主要貢獻

  1. 對高精地圖和高精地圖furniture的背景知識進行了全面的概述,總結(jié)出一個地圖成為真正的高精地圖所需的三個關(guān)鍵要求。
  2. 總結(jié)了高精地圖道路furniture的端到端生命周期,包括獲取技術(shù)、基礎(chǔ)知識和提取方法。
  3. 提供了對現(xiàn)有高精地圖數(shù)據(jù)集、潛在數(shù)據(jù)集和合成數(shù)據(jù)集/模擬器的全面研究。
  4. 總結(jié)了高精地圖furniture的評價指標(biāo)并將其標(biāo)準(zhǔn)化。

2.背景

本節(jié)概述了數(shù)字地圖和高精地圖在導(dǎo)航和AV中的使用歷史,并討論基于傳感器的AV的安全要求和挑戰(zhàn),以及典型的高精地圖應(yīng)用程序的規(guī)格。

2.1高精地圖(HD map)三大特點

1.精度高,細節(jié)水平高,準(zhǔn)確度高?!癏D”的含義來源于具有更高分辨率(詳細級別)的數(shù)據(jù)類型。在現(xiàn)有技術(shù)中,這個術(shù)語由于將不同類型的錯誤捆綁在一起而受到誤導(dǎo)。然而,“HD”代表了更多的質(zhì)量度量。它應(yīng)該包括以下三個方面(圖2是詳細說明):

  • (1)準(zhǔn)確性,即高精地圖中的道路furniture與現(xiàn)實世界中的地理位置誤差;
  • (2)細節(jié)水平,即高精地圖和現(xiàn)實世界中的道路furniture之間的體積誤差;
  • (3)精度,在高精地圖和真實世界的道路furniture之間的形狀誤差。

圖片

2.語義以外的豐富信息。與傳統(tǒng)地圖相比,分配給每個道路furniture的屬性不應(yīng)該被限制在一個直接的語義標(biāo)簽范圍內(nèi)。為了服務(wù)于自動駕駛及其未來的潛在目的,需要提出創(chuàng)新的屬性。例如,傳統(tǒng)地圖中的限速標(biāo)志通常由語義信息組成,如“限速:60”和“標(biāo)志顏色:白色”。然而,在高速公路場景中,還有一個額外的上下文。通常,在“限速:60”下有帶有卡車符號“適用于卡車”的標(biāo)志。這些應(yīng)該有一個親子關(guān)系的速度限制來作為一個補充信息。為了準(zhǔn)確、穩(wěn)健地定位車輛,可以添加過期和定位置信度來描述道路furniture組件。

3.最新的(up-to-date)。一般來說,up-to-date指的是軌跡信息(不包括天氣等與道路無關(guān)的因素)需要是最新的。在這種情況下,可以在道路施工時更新地圖(主要是幾何和拓撲結(jié)構(gòu))。然而,依靠道路furniture進行自主定位的自動駕駛汽車需要真正的最新高精地圖來確保駕駛安全。這需要高精地圖提供商檢測真實世界道路網(wǎng)絡(luò)的宏觀和微觀變化,并立即更新地圖。

2.2高精地圖構(gòu)建工作流程

作為參考,圖3展示了一個通用的端到端高精地圖構(gòu)建工作。該工作流程分為3個主要階段:數(shù)據(jù)采集(藍色步驟)、數(shù)據(jù)處理(黃色步驟)和地圖更新(綠色步驟)。

圖片

3.數(shù)據(jù)采集

3.1傳感器選擇

由LiDAR傳感器和相機捕獲的LiDAR點云和圖像是高精地圖構(gòu)建工作的兩個主要來源。

LiDAR和相機在高精地圖構(gòu)建中的不同方面的比較見表1。

3.2高精地圖中LiDAR和相機的爭論

LiDAR在處理隨機形狀的furniture方面問題較嚴(yán)重;反過來,相機在混亂的背景下處理物體相對困難。

如圖4所示,相機和LiDAR對路段的可視化比較。

3.3傳感器數(shù)據(jù)采集與傳感器融合面臨的挑戰(zhàn)

上述不同類型的傳感器在處理道路furniture、外部環(huán)境和系統(tǒng)設(shè)置的各種組合時具有獨特的和普遍的優(yōu)點和缺點。將信息從采集到?jīng)Q策(即輸入數(shù)據(jù)、中間數(shù)據(jù)和最終輸出)進行融合,在一定意義上可以緩解各類傳感器(和算法)的弱點,提高整體性能。

多傳感器數(shù)據(jù)融合(MSDF) 的結(jié)構(gòu)分為三個層次(圖5):

  • (1)高級融合(HLF),融合發(fā)生在每個獨立的識別/感知/決策管道的末端;
  • (2)低水平融合(Low-level fusion, LLF),在原始數(shù)據(jù)等獲取的早期階段,融合傾向于被融合;
  • (3)中級融合(MLF),是LLF和HLF之間的抽象層。

隨著深度神經(jīng)網(wǎng)絡(luò)的快速發(fā)展,抽象層不再局限于樸素直觀的特征,也可以由隱藏層組成。LLF與本節(jié)討論的問題直接相關(guān),而MLT和HLF將在第5節(jié)中討論。

4.高精地圖中的道路furniture

通常情況下,高精地圖包含至少關(guān)于車道線、道路邊界/路肩、護欄、標(biāo)志、桿狀物體和表面(如高程模型和建筑立面)的信息。如第1節(jié)所述,每個對象的規(guī)范由高精度的地理位置、幾何信息和其他附加的語義信息構(gòu)成。本節(jié)將它們分為三類(1D車道線、2D表面和3D對象),并重點詳細討論其功能、幾何信息、表示和每個類的特征。一些現(xiàn)有技術(shù)將車道線和地形與道路furniture分開,因為在某些定義中,道路furniture被定義為沿著道路固定的對象。在本文中作者使用道路furniture來表示構(gòu)成給定道路網(wǎng)絡(luò)的全部功能的對象,相當(dāng)于道路組件和道路對象。相比之下,非道路furniture是指那些參與捕獲任何與導(dǎo)航相關(guān)的公共實體,但不攜帶任何關(guān)于道路網(wǎng)絡(luò)作為空間實體/表面功能的數(shù)據(jù)的對象。圖6提供了一個包括車道線和其他3D非道路對象的可視化示例。

圖片

4.1 1D車道線

繪制的線和虛擬的車道/道路邊界(與物理邊界如護欄和路肩分開)在車道模型中提供,可以提供基本指導(dǎo),指定車輛在駕駛時應(yīng)該在哪里行駛。車道線幾何是由點(通常用樣條表示)組成的,附加著其他描述性標(biāo)簽,如車道類型(如實線、虛線等)、ID、顏色和寬度。與3D對象相比,這種furniture的數(shù)據(jù)尺寸非常小。例如,在高精地圖數(shù)據(jù)集的報告中,每米每條車道的(幾何控制)點數(shù)量通常少于10個,根據(jù)道路曲率和實際的多項式插值方法有一些可變性。通常情況下,一個人只需要三個控制點來描述短距離的直線/曲線。

車道線是世界上最廣泛和最常用的道路furniture,理論上,每個車道必須由車道線組成。與此相補充的是,基于圖像和基于LiDAR的車道線(實時)檢測方法已經(jīng)得到了很好的研究,它們的許多特性已經(jīng)被利用例如,與路面相比,顏色對比度高,形狀和幾何形狀不變。所有這些使得車道線成為第一個HD-ready furniture,廣泛應(yīng)用于低級別自動駕駛系統(tǒng),如ADAS。

然而,當(dāng)涉及到車道線在現(xiàn)實場景中的應(yīng)用時,車道線仍然存在一定的局限性。首先,油漆總是隨著時間的推移而磨損,這是由于嚴(yán)重的腐蝕和侵蝕。根據(jù)的交通研究,車道標(biāo)線(和其他油漆標(biāo)志)由于道路和惡劣天氣的影響而磨損,由于使用的材料不同,導(dǎo)致有效使用壽命在1至5年之間。此外,道路維修服務(wù)不能立即重新粉刷車道線。此外,車道標(biāo)志對天氣較為敏感。由于低相關(guān)性,它們可能在下雨時從LiDAR傳感器上隱形。雪也可以覆蓋車道線和水平面上的其他特征。這些限制將導(dǎo)致高精地圖和實時感知的嚴(yán)重模糊。從互補的角度來看,在車輛自定位中,另一個關(guān)鍵的局限性是它們主要用于橫向定位車輛,因為模式是沿著道路方向(縱向)重復(fù)的。

4.2 3D對象

在高精地圖中,3D對象通常以3D占用網(wǎng)格的局部笛卡爾坐標(biāo)表示,即使它們最初是作為離散點(由LiDAR)捕獲的。與其他3D對象表示(如向量和離散點)相比,這種表示在數(shù)據(jù)大小、相對簡單的管理、基于層次的分辨率和潛在的兼容性方面具有緊湊性的優(yōu)勢,并與機器人、可視化和深度學(xué)習(xí)中使用的許多現(xiàn)有算法兼容和自定位。但也存在一定的缺點,包括混疊問題、較低的可重用性和較低的可擴展性,這主要是因為在對原始點進行光柵化時,體素的方向和分辨率是混合的。

與此同時,與車道線相似,高精地圖中的對象不僅僅是占用網(wǎng)格的集群(盡管目前許多實現(xiàn)依賴占用網(wǎng)格來定位車輛位置)。也就是說,它還需要一組(附加的)屬性,如對象類型、顏色、文本信息和功能。

在應(yīng)用層,與車道線相比,大多數(shù)3D對象都是耐久的,它們在自己的位置停留的時間相對較長,攜帶原始信息(一旦地圖構(gòu)建)。例如,桿子的壽命從30年到60年不等,在高速公路和城市環(huán)境以及桿子的類型之間存在差異。除非道路建設(shè)或事故發(fā)生,否則有形的路肩和護欄幾乎是不朽的。此外,垂直放置的furniture,如桿子,是堅固的遮擋和惡劣的天氣。所有這些特性使得3D物體成為高精地圖中相關(guān)應(yīng)用的完美組件,特別是自定位、ADAS和避碰。

4.3 2D曲面

高精地圖中的2D表面主要是指路面(可以認(rèn)為是數(shù)字地形模型(DTM)的一部分)和建筑立面。這些furniture對象在應(yīng)用和表示上有很大的差異,盡管直觀上它們被認(rèn)為是平面對象。

4.3.1地形

數(shù)字地形模型(Digital Terrain Model, DTM)最初是在地理/地球科學(xué)中提出的,并被廣泛應(yīng)用于水文地質(zhì)分析/建模,如流域模型)、災(zāi)害監(jiān)測(如血液模型)和農(nóng)業(yè)管理。通常用三維網(wǎng)格和二維笛卡爾網(wǎng)格表示,每個網(wǎng)格表示高程信息。

在自動駕駛和高精地圖領(lǐng)域,首先將高精度和分辨率的地形模型應(yīng)用于車輛的自定位。由于在對車輛進行橫向和縱向定位時缺乏區(qū)分定位對象的能力,與人行道道路上的其他道路furniture對象(如桿狀物體)相比,該方法沒有受到任何歡迎?,F(xiàn)在,一些與地形相關(guān)的特征被保存在數(shù)據(jù)庫中,并用于提高駕駛質(zhì)量和乘坐舒適性。例如,道路傾斜角度用于警告前方的車輛轉(zhuǎn)彎或轉(zhuǎn)彎,以便車輛調(diào)整懸掛以抵消車身側(cè)傾,提高車輛穩(wěn)定性。同樣,其照明系統(tǒng)的角度可以照亮盲區(qū)/暗區(qū),提高安全性。對于農(nóng)村環(huán)境下的無人機,高分辨率DTM在定位和環(huán)境感知方面仍有一定的應(yīng)用價值。

4.3.2立面/表面

立面仍然被認(rèn)為是高精地圖furniture的一個小類別。將這些furniture(以及3D建筑模型)納入高精地圖數(shù)據(jù)庫的動機是由可視化聚焦應(yīng)用程序驅(qū)動的。車輛自定位的主要前提是首先需要在可容忍的誤差范圍內(nèi)對車輛進行GNSS定位,然后通過local search自定位對車輛進行精確定位。不幸的是,由于摩天大樓和其他結(jié)構(gòu)的多徑干擾和阻礙,城市環(huán)境中的全球?qū)Ш较到y(tǒng)存在不精確性,這使得車輛位置的初始估計漂移到了無法容忍的誤差。因此,建筑物,特別是其2D表面/立面,被引入特定城市環(huán)境中的車輛自我定位。

這些技術(shù)通常是基于圖像的。數(shù)據(jù)庫中存儲了高分辨率的建筑立面圖像。一個典型的工作流程是一個實時圖像捕獲,然后是門面分割和匹配,以及位姿估計。局限性是定位性能高度依賴于更新的建筑立面圖像、高質(zhì)量的(實時捕獲和數(shù)據(jù)庫)圖像,以及每幀的姿態(tài)估計算法極其昂貴。

4.3.2立面/表面

不同的研究人員根據(jù)道路furniture的目標(biāo)和功能定義了各種各樣的分類(其中一些包括可移動物體),沒有統(tǒng)一的標(biāo)準(zhǔn)。由于道路furniture的出發(fā)點是地圖,其目標(biāo)主要是為定位算法服務(wù),因此根據(jù)其三維、二維和一維的維度表示對其進行了分類??紤]到在駕駛場景中可以觀察到的furniture有超過150個不可分割的型,單層分類法顯然是不夠的?,F(xiàn)有技術(shù)在提供數(shù)據(jù)方面比特定任務(wù)的要求具有更高的優(yōu)先級[34,39,48,74,235,235],堅持使用這種簡單的分類法。來源于對象識別的研究傾向于使用兩層分類法,該分類法基于對象的語義意義形成類別,如天空、人、車輛、建筑等?;パa的、混合的分類法也被使用,但是它們最初的目的不能固定地放在面向數(shù)據(jù)或面向任務(wù)的分類法中。

圖7中說明了三個分類法。

圖片

5.HD furniture的制作

本節(jié)概述了在高精地圖構(gòu)建中使用的分割技術(shù),包括標(biāo)簽制作過程以及學(xué)習(xí)過程。

5.1道路furniture標(biāo)簽

在2D中,以像素級別標(biāo)記對象的形狀/輪廓(也將確定位置/底部點)是昂貴且耗時的,而在3D中更加昂貴。例如,在2012年的物目標(biāo)檢測數(shù)據(jù)集中,著名的Kitti數(shù)據(jù)集大約有15k個帶有邊界框的標(biāo)記圖像,而在2015年的立體和流動基準(zhǔn)測試中,僅包含了400個語義像素級別注釋的圖像。至于3D標(biāo)記,該團隊在2017年發(fā)布了與原始2D邊界框標(biāo)簽匹配的3D邊界框標(biāo)簽,目前還沒有提供3D像素/體素級別的標(biāo)簽。

在傳統(tǒng)的標(biāo)記工具和流程中,由于可能涉及手動微調(diào),像素級別的標(biāo)記在2D空間中比邊界框標(biāo)記更昂貴。在3D像素級別的標(biāo)記中,難度進一步增加:不僅需要在更高的維度進行工作,而且還受到主要交互furniture(顯示器)僅能處理2D交互的限制。

為了加快像素級別的標(biāo)記過程,使用了由標(biāo)記/微調(diào)和學(xué)習(xí)環(huán)路組成的流程,通常稱為迭代式終端用戶交互概念學(xué)習(xí)。近年來,更常用的術(shù)語是human -in- loop。這個過程本質(zhì)上將構(gòu)建完美標(biāo)簽的成本轉(zhuǎn)變?yōu)闃?gòu)建普通質(zhì)量標(biāo)簽并細化標(biāo)簽的序列,并在規(guī)?;矫骘@示出最大的優(yōu)勢。

整個工作流程如圖8所示,human -in- loop流程被標(biāo)記成橙色。

5.2道路furniture提取

作者概述了如何通過使用不同的學(xué)習(xí)方法,從圖像和/或LiDAR點云(或兩者)提取每一個代表性的道路furniture。由于在學(xué)習(xí)分類和命名上沒有普遍的共識,在本節(jié)中,我們使用經(jīng)典機器學(xué)習(xí)(CML)來引用學(xué)習(xí)框架,該框架涉及人類特征工程來構(gòu)建descriptors,在該框架中,不使用深度學(xué)習(xí)來完成訓(xùn)練。相比之下,神經(jīng)網(wǎng)絡(luò)基于學(xué)習(xí)(Neural Network Based Learning, NNL)指的是基于深度學(xué)習(xí)的方法。注意下面提到的一些方法可以結(jié)合高精地圖構(gòu)建和實時感知使用。

5.2.1車道線標(biāo)記

如第4節(jié)和第3節(jié)所述,車道標(biāo)線不僅是駕駛場景中最常見的元素,而且在相機和LiDAR傳感器中都易于檢測。受到這些特征的啟發(fā),基于CML的方法側(cè)重于從背景中提取顏色、幾何和LiDAR強度特征。

雖然大多數(shù)先前的研究使用地面圖像和LiDAR作為輸入數(shù)據(jù)源,但一些研究人員嘗試通過使用對齊良好、高分辨率的圖像(例如航空、無人機等)來解決定位和導(dǎo)航相關(guān)性的問題,因為這些圖像具有綜合覆蓋性、低成本和易于更新。現(xiàn)在,圖像的分辨率可以達到每像素0.5米或更低,這使我們能夠利用更詳細的圖像來建模車道級特征的經(jīng)典方法。

由于與車道標(biāo)線檢測相關(guān)的出版物數(shù)量龐大,表2中提供了車道標(biāo)線調(diào)研論文的類似總覽。Learning Focus列對調(diào)研論文關(guān)注的學(xué)習(xí)框架進行了標(biāo)記(即CML或NNL)。如果調(diào)研論文沒有提供對所涵蓋論文的詳細評估或比較,Evaluation Metric(s)欄中的值將標(biāo)記為“Not provided”(參見第7節(jié))。最后一列Input Focus顯示了調(diào)查論文的(大部分)輸入數(shù)據(jù)源。

5.2.2桿狀物體

與車道標(biāo)線不同,桿狀物體很難在透視圖像(從遠處)中觀察到,幾乎不可能在航拍圖像中觀察到(由于它們微小的垂直投影),但在地面點云中非??梢姟4送?,桿狀物體的檢測/分割通常被視為點云中物體檢測調(diào)研的一小部分。這反過來意味著盡管為更廣泛的對象構(gòu)建了神經(jīng)網(wǎng)絡(luò),但沒有為這種特定furniture構(gòu)建神經(jīng)網(wǎng)絡(luò)。表3中列出了每個機器學(xué)習(xí)領(lǐng)域的幾篇代表性論文。

5.2.3標(biāo)志牌

標(biāo)志牌這是ADAS和自我定位中使用的另一種值得關(guān)注的furniture類型。與車道標(biāo)線類似,標(biāo)志牌檢測技術(shù)在過去幾十年中得到了廣泛研究。已經(jīng)提出了許多基于CML的解決方案,并且這些工作已經(jīng)在幾份調(diào)研報告中進行了總結(jié)。

5.3挑戰(zhàn)和可能的解決方案

在構(gòu)建和管理高精度地圖furniture時,存在一些待解決的挑戰(zhàn),以提高其使用的效率和效果。一個特定的問題涉及存儲技術(shù)管理,這與在生成過程中的LiDAR點云的轉(zhuǎn)換問題相輔相成。具體來說,從將數(shù)據(jù)下載到多個用戶的角度,應(yīng)如何分配不同的上下文,特別是要考慮到移動性方面的因素(例如,隨時間變化的密度、高效路由、安全性)和車輛數(shù)據(jù)消耗的成本。另一個相關(guān)的問題是如何在高精度地圖furniture中平衡不同的上下文。在城市環(huán)境中,車道標(biāo)線和標(biāo)志牌由于頻繁的定位和控制/導(dǎo)航耦合,可能具有相同的重要性,但在高速公路環(huán)境中,假設(shè)已知目的地,某些出口的標(biāo)志數(shù)據(jù)以及其他furniture(例如附近的建筑物)可能對特定的自動駕駛車輛而言并不重要。

6.數(shù)據(jù)集

本節(jié)重點介紹高精地圖的數(shù)據(jù)集,這些數(shù)據(jù)集由附加在道路分段上的furniture組成。高精地圖furniture相關(guān)數(shù)據(jù)集可以在其他文獻綜述中找到,更傾向于檢測/識別類型的問題。眾所周知,高精地圖制作非常昂貴。正如前面所提到的,流程中的每個步驟(數(shù)據(jù)獲取、數(shù)據(jù)對齊、furniture提取和質(zhì)量保證)都涉及大量的勞動力和硬件成本。這導(dǎo)致了可用的高精地圖數(shù)據(jù)集的數(shù)量有限,特別是覆蓋大面積道路網(wǎng)絡(luò)、跨區(qū)域和道路furniture豐富的數(shù)據(jù)集。

6.1高精地圖數(shù)據(jù)集

6.2其它潛在數(shù)據(jù)集

有幾個數(shù)據(jù)集接近高精度地圖數(shù)據(jù)集,但它們?nèi)匀惶峁┳銐虻膬?nèi)容來研究與自動駕駛場景相關(guān)的屬性。這些數(shù)據(jù)集是為不同的目標(biāo)目的(如對象識別和感知)創(chuàng)建的,注重將數(shù)據(jù)和標(biāo)簽呈現(xiàn)在獨立的幀或局部容器中,沒有適當(dāng)?shù)目臻g連續(xù)性/連接性。一些代表性的作品是KITTI數(shù)據(jù)集,nuScenes數(shù)據(jù)集,The Oxford RobotCar數(shù)據(jù)集和KAIST數(shù)據(jù)集.

6.3合成數(shù)據(jù)集

合成數(shù)據(jù)集在整個高精地圖創(chuàng)建管道的成本方面具有顯著的優(yōu)勢,并且可以很容易地通過生成更多的道路furniture來擴大規(guī)模。研究人員通常使用高保真模擬器來生成合成數(shù)據(jù)集,例如Synthia (Unity 3D powered), CARLA (Unreal Engine 4 powered), NVIDIA DRIVE Sim (powered by Omiverse), 以及DeepGTAV10 (Rockstar Advanced Game Engine powered)。

在這些高逼真的模擬器中,道路furniture和其他角色(如車輛和行人)都有自己的3D模型。虛擬城市是由一個預(yù)定的拓撲/道路網(wǎng)絡(luò)構(gòu)建而成,對象/物品的放置是基于現(xiàn)實世界的學(xué)習(xí)方法,或主觀認(rèn)知。一旦創(chuàng)建了所有的對象,就可以分配合成自動駕駛汽車進行動態(tài)駕駛,并收集各種類別的數(shù)據(jù)(添加人工噪音),以模擬真實世界的采集。盡管具有低成本和可伸縮性,顧名思義,合成數(shù)據(jù)集中呈現(xiàn)的世界通常不夠逼真,與真實場景有明顯的差距。因此,它們不能作為真實世界數(shù)據(jù)的替代品。

6.4挑戰(zhàn)和可能的解決方案

有許多貢獻者已經(jīng)進行了大量工作來創(chuàng)建高精度地圖數(shù)據(jù)集,然而,仍然存在兩種基本類型的挑戰(zhàn)影響著最新技術(shù)的發(fā)展。

第一個重大挑戰(zhàn)是缺乏數(shù)據(jù)格式的標(biāo)準(zhǔn)化。不同的數(shù)據(jù)集使用不同的容器來呈現(xiàn)其原始數(shù)據(jù),并使用不同的模式來組織furniture的標(biāo)簽(尤其是3D數(shù)據(jù)和標(biāo)簽)。這使得理解和加載數(shù)據(jù)都很昂貴,即使有提供解析器。幸運的是,它們都使用層次化標(biāo)記語言來存儲數(shù)據(jù)(如XML、JSON和protobuf),這至少使得數(shù)據(jù)在語義上可讀。

第二個挑戰(zhàn)是缺乏質(zhì)量控制。如前所述,構(gòu)建高精度地圖數(shù)據(jù)集在所有步驟上都非常昂貴,不僅包括數(shù)據(jù)獲取和標(biāo)注步驟,還包括質(zhì)量控制階段。一些數(shù)據(jù)集存在幀與幀、數(shù)據(jù)與標(biāo)簽以及點與圖像不對齊等問題。此外,全局不對齊,即數(shù)據(jù)集本身與其他與之對齊的GIS相關(guān)數(shù)據(jù)集(如OSM道路網(wǎng)絡(luò)、USGS圖像/LiDAR和Bing圖像)之間的不對齊,限制了多個現(xiàn)有數(shù)據(jù)集的可擴展性。

解決第一個挑戰(zhàn)的一種可能性是使用一種(通用和公共的)對象關(guān)系映射協(xié)議來組織地圖furniture。這個協(xié)議應(yīng)該用戶友好(例如,JSON或類似GeoJSON的格式),并能夠處理復(fù)雜的高精度地圖furniture幾何和相關(guān)信息。一個潛在的解決方案是HERE提出的Map Object Model(MOM,一種格式化的GeoJSON)。此外,還可以從整合異構(gòu)空間和環(huán)境數(shù)據(jù)的現(xiàn)有方法中獲益。當(dāng)涉及到第二個挑戰(zhàn)時,清楚地,一種方法是促進行業(yè)和學(xué)術(shù)界之間的合作,以便在感興趣的相同地區(qū)創(chuàng)建高質(zhì)量的高精度地圖,并建立高效的地圖(內(nèi)容)錯誤修正/更新機制。

7.質(zhì)量評估

如圖9所示,一個道路furniture可以被分配許多屬性。對于每個furniture甚至每個屬性,總是有幾個評估指標(biāo)來表示數(shù)據(jù)質(zhì)量。如路標(biāo)的分類和文字精度、車道標(biāo)記的顏色和線形精度、桿的桿形精度等。不同furniture最重要和通用的屬性是每個物體的幾何形狀accuracy和位置accuracy。本節(jié)首先介紹了幾何和位置的評價指標(biāo),然后以高精地圖整體質(zhì)量的討論結(jié)束。

7.1 Furniture位置

7.1.1 全局極坐標(biāo)與平面坐標(biāo)

全局極坐標(biāo)與平面坐標(biāo)。furniture對象的正確位置保證了良好的自定位和路線規(guī)劃性能。在深入研究評估指標(biāo)之前,一個經(jīng)常被實踐人員忽略的重要前提是,地球上的距離和笛卡爾距離之間的差異是極小的,與HD需求相比可以忽略不計。

文章這里主要討論了在GPS中使用的世界大地坐標(biāo)系統(tǒng)12(WGS84)中的地理點表示方法以及計算距離時可能出現(xiàn)的誤差和解決方法。在WGS84中,一個地理點由緯度、經(jīng)度和海拔高度組成,在計算距離時不能像在笛卡爾坐標(biāo)系中那樣簡單地使用歐幾里得距離,因為海拔高度的影響沒有考慮進去。然而,在對小范圍進行測量時,角差別非常小,因此可以使用笛卡爾近似方法簡化計算。具體做法是先將地理點轉(zhuǎn)換為本地笛卡爾坐標(biāo)系統(tǒng),然后應(yīng)用傳統(tǒng)的歐幾里得距離計算方法。這種轉(zhuǎn)換過程被稱為投影,已經(jīng)有很多方法被開發(fā)出來,如國家大小的通用橫軸墨卡托投影(UTM)和可劃分的必應(yīng)地圖瓦片系統(tǒng)等。然而,當(dāng)應(yīng)用于較大的表面區(qū)域時,這些投影都會產(chǎn)生一定的誤差和形狀畸變。在文中還提到了一種基于Vincenty公式的經(jīng)典GS計算算法,該算法通過迭代計算高階函數(shù)的中間結(jié)果來計算GS距離。最后,文中還以圖表形式展示了將基于GS的模型轉(zhuǎn)換為笛卡爾模型可能導(dǎo)致的畸變情況。

關(guān)于圖10中的示例,我們可以注意到傳統(tǒng)應(yīng)用程序(如路由/規(guī)劃)對高精度定位并不要求。也就是說,這些應(yīng)用程序?qū)烙?計算錯誤具有更高的容忍度。如前所述,使用參考網(wǎng)格的平面坐標(biāo)系統(tǒng)在緯度、經(jīng)度和海拔方向上都存在固有的畸變。假設(shè)一個由四個極坐標(biāo)點(A、B、C、D)確定的平面方塊參考網(wǎng)格,其中A坐標(biāo)為(緯度A, 經(jīng)度A),B坐標(biāo)為(緯度B, 經(jīng)度B),C坐標(biāo)為(緯度C, 經(jīng)度C),D坐標(biāo)為(緯度D, 經(jīng)度D),海拔高度分別為h~A~、h~B~、h~C~、h~D~。設(shè)點P(緯度p, 經(jīng)度p)和點Q(緯度q, 經(jīng)度q)分別表示GS距離和平面(歐幾里得)距離,則參考網(wǎng)格的畸變可以用以下公式表示:
畸變(緯度方向)= (GS距離(P, Q) - 平面距離(P, Q))/ 平面距離(緯度p,經(jīng)度q),
畸變(經(jīng)度方向)= (GS距離(P, Q) - 平面距離(P, Q))/ 平面距離(緯度q,經(jīng)度p),
畸變(海拔方向)= 平面距離(緯度p,經(jīng)度p) / 平面距離(緯度q,經(jīng)度q),
其中緯度p和經(jīng)度p為給定的緯度和經(jīng)度。
這些畸變可見于圖10(a)中。圖10(b)、(c)和(d)分別展示了在特定緯度和經(jīng)度以及給定網(wǎng)格大小下的畸變情況。

根據(jù)計算結(jié)果,在較小的區(qū)域使用平面參考坐標(biāo)時,即使與最嚴(yán)格的高精地圖要求進行比較,失真也是可以接受的。高層次的Bing Maps Tile System,以及其他類似的網(wǎng)格坐標(biāo)(例如,Local Tangent Plane(LTP)坐標(biāo)((North-East-Down (NED)等)被認(rèn)為是合格的投影。

因此,檢測到的點與真實地面點之間的誤差可以定義為e=d (A,A ′) ≈d~p~ (A,A ′),其中有兩個分量e = (e.east , e. north)。圖11(a)展示了在LTP坐標(biāo)系下點A~1~、點A~2~和點A~4~的 e~1~, e~2~和 e~4~分量。

7.1.2 道路坐標(biāo)

RC坐標(biāo)系(Road Coordinates)是將點轉(zhuǎn)換的另一種方法,它在高精地圖領(lǐng)域中很少被使用,因為物體沒有全局視圖,這使得全局優(yōu)化和對齊變得更加困難。多個相鄰的道路連接需要分別存儲物體,這會導(dǎo)致數(shù)據(jù)冗余。在車輛動力學(xué)控制中,RC最初是用來從車輛的視角評估車輛運動的方法。更近期的研究開始使用縱向和橫向誤差來描述定位性能,以及車輛行駛方向的垂直方向。如今,RC在自動駕駛中更常用,特別是用于車道保持和性能評估,并為制造商提供實時的觀察/感知數(shù)據(jù)記錄。

例如,在圖11(b)中,給定道路(以折線表示和LTP表示)L= l~1~,l~2~,... ,點A~2~被分配到最近的線段(l~k~ ,l~k+1~)上的點 。然后,將點A~2~的道路方向或縱向方向定義為向量( l~k~,l~k+1~),橫向方向定義為(l~k+1~,?l~k~)。需要注意的是,LTP和RC都是笛卡爾坐標(biāo)系,|e|保持不變,但分量變?yōu)閑=e.r~lat~+e.r~long~。

這種方法最大的缺點是一個物體可能有多個與參考鏈接最近的點(例如,鏈接具有陡峭的曲線),這可能會顯著影響誤差。

7.2 Furniture幾何形狀

大多數(shù)檢測算法和ground truth標(biāo)簽的輸出以光柵數(shù)據(jù)的形式給出,范圍從較大的邊界框到較小的體素。在這種情況下,交叉聯(lián)盟(IoU)以及它的變體,如多類別IoU (mIoU)是最流行的和這些任務(wù)中直接使用的評估指標(biāo)。IoU表示檢測結(jié)果與ground truth的重疊率,引入閾值Thr,如圖13中藍色矩形所示),可轉(zhuǎn)換為二進制分類問題。其他指標(biāo)包括真陽性(TP)、真陰性(TN)、假陽性(FP)、假陰性(FN)、F1、Accuracy和ROC。注意,在這種情況下,TN總是0。顯然,除RoC外,其他高級指標(biāo)對閾值很敏感,而閾值可能因不同目標(biāo)而異。例如Kitti將簡單、中等和硬限分別定義為15%、30%和50% (3D汽車為70%)。

然而,IoU及其變體有幾個缺點。在三維網(wǎng)格表示的基礎(chǔ)上,IoU不受不對齊、比例和旋轉(zhuǎn)/視角的影響,不適合跨不同數(shù)據(jù)源、幀和坐標(biāo)評估結(jié)果。圖12展示了不對齊((b)到(a))和比例((c)到(a))如何影響IoU分?jǐn)?shù)。因此,研究人員將結(jié)果提取到一個模型,例如,一個線段,而不是一個像素/體素集合或一個掩碼,然后在地面真實模型上進一步評估。

圖片

7.3 綜合評價

一幅高精地圖由一系列道路furniture組成,整體質(zhì)量不能簡單地概括為一個簡單的聲明——地圖有多準(zhǔn)確。本文提出了三個相似的標(biāo)準(zhǔn),即絕對位置誤差、相對位置誤差和存在性(precision and recall),并增加了另一個維度來描述furniture分類精度的準(zhǔn)確性。

在最簡單的場景中(所有對象都屬于一個類別),換句話說,只有一個觀測結(jié)果可以與一個基本事實相匹配。不同公司對HD的需求不同,例如Atlatec[54]使用4cm度量。在現(xiàn)實中,檢測結(jié)果的不確定性是不可避免的,這使得匹配的過程相當(dāng)復(fù)雜。一旦確定了TN、TP和FN集,就可以計算精度和召回率等其他標(biāo)準(zhǔn)。

以及絕對誤差和偏移。

關(guān)于方程5,如果地圖完全與地面真相偏移/不對齊,e~shift~= 0。此外,errors e和e~shift~可以被分解成north-component和east-component,即e=(e.north,e.east),e~shift~=(e~shift~.north, e~shift~.east)用于詳細的質(zhì)量分析,例如:

盡管準(zhǔn)確性和召回率很受歡迎,但也可以使用其他衡量標(biāo)準(zhǔn)。除了在F1中結(jié)合精度和召回率,可能還需要探索不同類型的度量。

8.結(jié)束語

本文介紹和系統(tǒng)地總結(jié)了與高精地圖相關(guān)的數(shù)據(jù)方面的問題,特別是在高精地圖furniture方面:(1)高精地圖和高精地圖furniture背景知識;(2)獲取技術(shù)、基本方法和提取方法。進行了一個全面的概述:(1)現(xiàn)有的高精地圖數(shù)據(jù)集;(2)潛在數(shù)據(jù)集;(3)合成數(shù)據(jù)集和模擬器。此外,總結(jié)并提供了一個分類的高精地圖furniture評價指標(biāo)。討論了當(dāng)前的挑戰(zhàn)和解決這些挑戰(zhàn)的潛在途徑。     

責(zé)任編輯:張燕妮 來源: 自動駕駛之心
相關(guān)推薦

2017-12-26 10:19:14

大數(shù)據(jù)問題缺陷

2021-06-30 07:19:35

微服務(wù)業(yè)務(wù)MySQL

2024-01-11 09:29:47

高精地圖自動駕駛

2022-04-06 10:36:24

技術(shù)管理

2020-07-16 14:40:23

大數(shù)據(jù)計算框架

2024-02-19 10:29:24

模型駕駛

2023-07-06 13:56:14

微軟Skype

2020-09-08 06:54:29

Java Gradle語言

2019-12-12 14:52:10

數(shù)據(jù)庫腳本

2024-09-13 09:48:51

2021-08-04 10:15:14

Go路徑語言

2023-09-22 17:36:37

2021-01-28 22:31:33

分組密碼算法

2020-05-22 08:16:07

PONGPONXG-PON

2022-08-30 10:15:27

Kubernetes數(shù)據(jù)持久化管理

2018-06-07 13:17:12

契約測試單元測試API測試

2018-04-19 10:22:06

數(shù)據(jù)中心連接性托管

2021-08-01 09:55:57

Netty時間輪中間件

2023-09-27 16:39:38

2024-10-28 21:02:36

消息框應(yīng)用程序
點贊
收藏

51CTO技術(shù)棧公眾號