全球首發(fā)！總結(jié)七十余種開源數(shù)據(jù)集，一覽自動駕駛開源數(shù)據(jù)體系
本文經(jīng)自動駕駛之心公眾號授權(quán)轉(zhuǎn)載，轉(zhuǎn)載請聯(lián)系出處。
基于數(shù)據(jù)驅(qū)動的各類深度學(xué)習(xí)模型任務(wù)，近年來隨著數(shù)據(jù)集規(guī)模的不斷擴大，性能逐漸被提升，國內(nèi)外各大自動駕駛公司都在不斷建立自己的數(shù)據(jù)庫，以及數(shù)據(jù)閉環(huán)系統(tǒng)，期待數(shù)據(jù)的豐富能夠解決下半場自動駕駛問題，那么如何構(gòu)建數(shù)據(jù)集？如何搭建自己的數(shù)據(jù)閉環(huán)系統(tǒng)解決長尾等各類問題呢？
現(xiàn)有自動駕駛數(shù)據(jù)集可大致分為兩代，第一代數(shù)據(jù)集的傳感模態(tài)復(fù)雜度相對較低、數(shù)據(jù)集規(guī) 模相對較小，且大多局限于感知級任務(wù)，第一代數(shù)據(jù)集以發(fā)布于 2012 年的 KITTI 為代表。相比于第一代數(shù)據(jù)集，第二代數(shù)據(jù)集的特征為傳感模態(tài)復(fù)雜度較高、數(shù)據(jù)集規(guī)模與多樣性較豐富、所設(shè)置任務(wù)從感知擴展到預(yù)測、規(guī)控上，第二代數(shù)據(jù)集以 2019 年前后提出的 nuScenes、Waymo 為代表。
《自動駕駛開源數(shù)據(jù)體系：現(xiàn)狀與未來》是由上海人工智能實驗室牽頭，上海交大、復(fù)旦大學(xué)、百度、比亞迪、蔚來等多個單位參與合作，期望促進新一代自動駕駛數(shù)據(jù)集與生態(tài)體系的建設(shè)、推動關(guān)鍵領(lǐng)域自主原創(chuàng)與科技自強的發(fā)展。該工作聯(lián)合學(xué)術(shù)界、產(chǎn)業(yè)界同仁，首次系統(tǒng)性梳理了國內(nèi)外七十余種開源自動駕駛數(shù)據(jù)集，并就未來第三代自動駕駛數(shù)據(jù)集應(yīng)該具備的特質(zhì)和數(shù)據(jù)規(guī)模，以及需解決的科學(xué)與技術(shù)問題，進行了詳細分析與討論。
論文地址：https://opendrivelab.com/Dataset_Survey_Chinese.pdf
項目地址：https://github.com/OpenDriveLab/DriveAGI
概要解讀
作為人工智能重要應(yīng)用領(lǐng)域之一，自動駕駛有望重塑現(xiàn)有的交通和運輸模式，大大提高交通效率和安全性，深刻影響著未來的城市和社會發(fā)展?，F(xiàn)如今，我國智能網(wǎng)聯(lián)汽車產(chǎn)業(yè)邁入了商業(yè)化的試水和起步階段。道路測試和示范應(yīng) 用場景趨于成熟，自動駕駛功能技術(shù)加速迭代，車聯(lián)網(wǎng)應(yīng)用場景日益豐富，各層面相關(guān)法規(guī)政策加速出臺，共同推動市場進入高速發(fā)展期。
自動駕駛技術(shù)需要大量數(shù)據(jù)來訓(xùn)練算法模型，以識別和理解道路環(huán)境，從而做出正確的決策和行動，實現(xiàn)準(zhǔn)確、穩(wěn)定和安全的駕駛體驗，數(shù)據(jù)的建設(shè)對于自動駕駛技術(shù)的發(fā)展至關(guān)重要！以特斯拉為例，特斯拉所積累的海量數(shù)據(jù)和駕駛場景是保持其算法優(yōu) 勢的重要原因。另一方面，自然語言處理和通用視覺領(lǐng)域大模型的出現(xiàn)，更加印證了海量高質(zhì)量數(shù)據(jù)的重要性，給予自動駕駛的數(shù)據(jù)集建設(shè)以啟發(fā)！
圖 1 展示了文章主要內(nèi)容與組織架構(gòu)。
第二章從自動駕駛?cè)蝿?wù)側(cè)，將數(shù)據(jù)集分為感知類、建圖類、預(yù)測與規(guī)劃類數(shù)據(jù)集，分別介紹各種類型數(shù)據(jù)集現(xiàn)狀及發(fā)展，并圍繞社區(qū)生態(tài)以及相關(guān)國際賽事展開數(shù)據(jù)集影響力方面的討論。第三章面向數(shù)據(jù)算法閉環(huán)體系，對比多家商業(yè)解決方案，針對數(shù) 據(jù)算法閉環(huán)中數(shù)據(jù)標(biāo)注與質(zhì)量把控、仿真技術(shù)、基于大模型的數(shù)據(jù)生成以及自動標(biāo)注技術(shù)環(huán)節(jié)進行 闡述。第四章就新一代數(shù)據(jù)集應(yīng)有的特性進行展望
自動駕駛數(shù)據(jù)集
自KITTI發(fā)布以來，后面的數(shù)據(jù)集傳感器模態(tài)復(fù)雜度逐漸提高，數(shù)據(jù)集規(guī)模與多樣性日益增長，任務(wù)也從感知延伸至預(yù)測與規(guī)劃！本文統(tǒng)計 2012 年至今近百種數(shù)據(jù)集，整體上從圖 2 看出共 14 個數(shù)據(jù)集存在 較高影響力，其中 KITTI、nuScenes、Waymo 這三個數(shù)據(jù)集影響力估計值處在第一梯隊！
傳感器模態(tài)復(fù)雜度逐漸提高：環(huán)視相機，激光雷達，高精地圖，超聲波雷達傳感器，GPS、IMU、HD Map等；數(shù)據(jù)集規(guī)模與多樣性日益增長：主流自動駕駛數(shù)據(jù)集的 采集時長由最初的10小時左右逐漸提升至100小時，隨著自動標(biāo)注技術(shù)及標(biāo)注工具的演進，近些年也出現(xiàn)了超過 1000 小時的數(shù)據(jù)集 。除了數(shù)據(jù)豐富度，駕駛場景的多樣性是自動駕駛系統(tǒng)表 現(xiàn)的另一關(guān)鍵因素。為了提高算法在特定場景下的表現(xiàn)能力，Reasonable Crowd數(shù)據(jù)集采集了 多個季節(jié)和極端天氣下人車混行的復(fù)雜場景。為增強算法在不同地域的范化能力，Mapillary等數(shù)據(jù)集分別在多個大洲多個城市進行采集。任務(wù)多樣化：2019 年的 nuScenes、Waymo、Argoverse V2等數(shù)據(jù)集，不僅包括感知任務(wù)還涵蓋預(yù)測與規(guī)劃任務(wù)，實現(xiàn)了在同一數(shù)據(jù)集上進行多種任務(wù)研究！
圖 2 以數(shù)據(jù)集發(fā)布時間為橫軸、數(shù)據(jù)集影響力估計值為縱軸，定性展示了主要公開數(shù)據(jù)集的情況。
從自動駕駛國內(nèi)外挑戰(zhàn)賽與榜單可以看出，近幾年的賽題不再局限于感知類任務(wù)，正逐步朝感知決策一體化、端到端、大模型等方向發(fā)展；模型評測的設(shè)置從單一的比較分數(shù)高低，到多元化、創(chuàng)新性的評價。在未來自動駕駛比賽中，覆蓋 自動駕駛系統(tǒng)全鏈路的賽題會更加受研究人員青睞。
自動駕駛比賽與榜單在推動社區(qū)發(fā)展有至關(guān)重要的作用。測試服務(wù)器與榜單為廣大研究者提供了一個公平比較模型結(jié)果的平臺，同時讓研究人員在榜單及時公開模型細節(jié)與代碼。在一些較為活躍的榜單上，幾乎每個月都能觀察到榜首位置的迭代。而舉辦比賽與維護榜單需要主辦方等多方面 的共同努力，如提供數(shù)據(jù)下載途徑、基準(zhǔn)模型準(zhǔn)備、測試服務(wù)器維護。
數(shù)據(jù)算法閉環(huán)體系
對于自動駕駛的各個模塊來說，海量和高質(zhì)量的數(shù)據(jù)是確保性能的必要條件。自動駕駛工程中一個一直存在的問題是長尾問題。其產(chǎn)生原因在于訓(xùn)練模型是數(shù)據(jù)量不足而導(dǎo)致存在少量情況未被模型學(xué)習(xí)，而在模型推理階段，模型 并不能對這些時而出現(xiàn)的邊緣場景給出正確的結(jié)果。另外，對于基于規(guī)則的模塊，現(xiàn)有的方式是通過人工設(shè)計各種規(guī)則來使模塊輸出符合人為設(shè)計邏輯的結(jié)果。這個方法耗時耗力，并且難以覆蓋所有情況，有可能導(dǎo)致自動駕駛系統(tǒng)在某些情況是下失效。而使用數(shù)據(jù)驅(qū)動的神經(jīng)網(wǎng)絡(luò)代替這些模塊是一個可能的解決方案。
海量數(shù)據(jù)的引入對于解決現(xiàn)存自動駕駛系統(tǒng)中的各種問題都很有必要。同時，在神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)過程中，數(shù)據(jù)噪聲的引入會不可避免地對優(yōu)化過程產(chǎn)生負面影響，并降低模型性能。數(shù)據(jù)質(zhì)量不僅包括傳感器數(shù)據(jù)的分辨率和同時性等，還包括標(biāo)簽的準(zhǔn)確性。在這兩個方面中，任意一個方面存在質(zhì)量問題都直接影響著自動駕駛系統(tǒng)的性能和安全性。由此，海量和高質(zhì)量的數(shù)據(jù)成為構(gòu)建自動駕駛系統(tǒng)必不可少的一個環(huán)節(jié)。
新一代自動駕駛數(shù)據(jù)集
數(shù)據(jù)規(guī)模的增大能夠顯著提升模型性能，但當(dāng)數(shù)據(jù)量達到一定程度之后，模型性能增長趨于平緩。并且，自動駕駛車輛在真實世界中會不可避免地遇到訓(xùn)練數(shù)據(jù)之外的場景。因此，大規(guī)模地應(yīng)用自動駕駛技術(shù)必然要求模型能夠在罕見場景中做出正確行為，避免發(fā)生危險或功能失效的情況。由此看來，在自動駕駛領(lǐng)域我們并不需要一味地去擴充數(shù)據(jù)量。對于絕大多數(shù)交通場景來說，并不需要十分大量的數(shù)據(jù)就能夠覆蓋。而更需要關(guān)注的是長尾場景，由于某些交通場景十分罕見，如撞車等，數(shù)據(jù)的缺失會對自動駕駛系統(tǒng)的性能影響巨大?？偟膩碚f，在保證數(shù)據(jù)數(shù)量的前提下，場景豐富度對算法性能更為重要。
第一、二代自動駕駛數(shù)據(jù)集已經(jīng)不能夠繼續(xù)滿足自動駕駛系統(tǒng)的發(fā)展需求，新一代數(shù)據(jù)集的建設(shè)亟待提上日程。在大模型蓬勃發(fā)展的背景下，大數(shù)據(jù)成為新一代數(shù)據(jù)集不可缺少的一個特點。同時，模塊化設(shè)計的自動駕駛系統(tǒng)在落地過程遇到迭代成本高、性能上界受限等問題，端到端自動駕駛架構(gòu)逐步受到業(yè)界的青睞。除此之外，多模態(tài)傳感器、高質(zhì)量標(biāo)注、模型邏輯推理能力等方面也需要得到重視。新一代數(shù)據(jù)集應(yīng)該更側(cè)重于：
- 面向多模態(tài)、保質(zhì)保量；
- 面向端到端、決策導(dǎo)向；
- 面向智能化、邏輯推理；
結(jié)論
這篇綜述詳細評述了自動駕駛公開數(shù)據(jù)集的現(xiàn)狀與挑戰(zhàn)。針對數(shù)據(jù)算法閉環(huán)體系，結(jié)合當(dāng)前大模型發(fā)展趨勢，提出了下一代自動駕駛數(shù)據(jù)集的愿景與規(guī)劃。系統(tǒng)性地總結(jié)了自動駕駛發(fā)展歷程中所使用的數(shù)據(jù)集，展示了通過挑戰(zhàn)賽與榜單促進社區(qū)發(fā)展的重要性。概括性地分析了自動駕駛數(shù)據(jù)算法閉環(huán)體系，并總結(jié)其中各個重要環(huán)節(jié)的作用，最后通過應(yīng)用案例展現(xiàn)對數(shù)據(jù)算法閉環(huán)體系的使用方法。
