日前，伯克利發(fā)布了迄今***、最多樣化的帶有豐富注釋的駕駛視頻數(shù)據(jù)集 BDD100K。大家可以訪問(wèn) http://bdd-data.berkeley.edu 獲取該數(shù)據(jù)集。同時(shí)，他們也在 arXiv 上發(fā)布了關(guān)于該數(shù)據(jù)集的報(bào)告，大家也可以利用該數(shù)據(jù)集參加他們主辦的的 CVPR 2018 挑戰(zhàn)賽。

關(guān)于該數(shù)據(jù)集的詳細(xì)信息整理如下：

自動(dòng)駕駛將隨時(shí)改變社區(qū)中人們的生活方式。然而，最近發(fā)生的一系列事故表明，當(dāng)在真實(shí)世界使用駕駛系統(tǒng)時(shí)，尚不清楚這種人造感知系統(tǒng)如何避免看起來(lái)非常明顯的錯(cuò)誤。

作為計(jì)算機(jī)視覺(jué)研究人員，我們對(duì)探索自動(dòng)駕駛的前沿感知算法非常感興趣，我們想讓自動(dòng)駕駛更加安全。為了設(shè)計(jì)和測(cè)試具有潛力的算法，我們想要利用真實(shí)駕駛平臺(tái)收集的數(shù)據(jù)信息。這種數(shù)據(jù)有四個(gè)主要特性：大規(guī)模、多樣性、在道路上收集、具備時(shí)間信息。

數(shù)據(jù)多樣性對(duì)測(cè)試感知算法的魯棒性尤為重要。然而，當(dāng)前的開(kāi)放數(shù)據(jù)集并不能涵蓋到上面描述的所有屬性。因此，在 Nexar 的幫助下，我們發(fā)布了 BDD100K 數(shù)據(jù)集，這是迄今為止計(jì)算機(jī)視覺(jué)研究中***、最多樣化的開(kāi)放駕駛視頻數(shù)據(jù)集。

從該數(shù)據(jù)集的名字 BDD100K 就可以猜到它有多大，這一數(shù)據(jù)集包含 10 萬(wàn)段視頻。每段視頻時(shí)長(zhǎng)大約為 40 秒，格式為 720p、30 fps。視頻中還包括手機(jī)記錄的 GPS/IMU 信息，可以顯示出大致的駕駛軌跡。這些視頻是在美國(guó)不同地方收集的，如下圖所示。

圖：視頻采集點(diǎn)

數(shù)據(jù)集中有很多不同天氣，包括晴天、陰天和雨天，還有一天中的不同時(shí)間段，如白天和夜晚。下表總結(jié)了與之前數(shù)據(jù)集的比較，可以看到這一數(shù)據(jù)集更大、更多樣。

圖：與其他道路場(chǎng)景數(shù)據(jù)集的對(duì)比

這些視頻和視頻中的軌跡對(duì)于駕駛策略的模仿學(xué)習(xí)很有用，正如我們 CVPR2017 的一篇的論文所示。為了助于在大數(shù)據(jù)集上進(jìn)行計(jì)算機(jī)視覺(jué)研究，我們也在視頻關(guān)鍵幀上提供基本注釋?zhuān)蠹铱梢栽? http://bdd-data.berkeley.edu下載數(shù)據(jù)和注釋。

注釋

我們?cè)诿慷我曨l的第 10 秒進(jìn)行關(guān)鍵幀采樣，并為這些關(guān)鍵幀加上注釋。主要有這些標(biāo)記：圖像標(biāo)簽、道路對(duì)象邊界框、可駕駛區(qū)域、車(chē)道標(biāo)記和全幀實(shí)例分割。這些注釋將幫助我們理解不同類(lèi)別場(chǎng)景中數(shù)據(jù)和對(duì)象統(tǒng)計(jì)信息的多樣性。我們將在另一篇博文中討論標(biāo)注過(guò)程。

大家可以在這篇文章中看到更多關(guān)于注釋的信息。

圖：注釋概覽

道路目標(biāo)檢測(cè)

我們?yōu)檫@ 10 萬(wàn)個(gè)關(guān)鍵幀中經(jīng)常出現(xiàn)在道路上的對(duì)象標(biāo)上邊界框，以了解對(duì)象的分布及其位置。下面的條形圖顯示了對(duì)象數(shù)目。也有其他處理注釋中統(tǒng)計(jì)信息的方法。例如，我們可以比較不同天氣條件或不同場(chǎng)景下的對(duì)象數(shù)目。這張圖還顯示了數(shù)據(jù)集中的不同對(duì)象集以及數(shù)據(jù)集的規(guī)模——超過(guò) 100 萬(wàn)輛汽車(chē)。提醒下大家，這些是具有不同的外觀和環(huán)境背景的物體。

圖：不同類(lèi)型對(duì)象的統(tǒng)計(jì)信息

這一數(shù)據(jù)集也適用于某些特定領(lǐng)域的研究。例如，如果你對(duì)在街道上檢測(cè)和避免行人感興趣，那么你也可以研究這一數(shù)據(jù)集，因?yàn)樗吮戎暗膶?zhuān)業(yè)數(shù)據(jù)集更多的行人實(shí)例，如下表所示。

圖：與其他行人數(shù)據(jù)集在訓(xùn)練集上的比較

車(chē)道標(biāo)記

車(chē)道標(biāo)記是對(duì)司機(jī)重要的道路指示。當(dāng) GPS 或地圖沒(méi)有準(zhǔn)確全面覆蓋時(shí)，它們也是自動(dòng)駕駛系統(tǒng)把握駕駛方向和定位的關(guān)鍵線索。我們根據(jù)車(chē)道標(biāo)記指示的不同將其劃分為兩種類(lèi)型：垂直車(chē)道標(biāo)記 (在下圖中用紅色表示) 表示沿著車(chē)道行駛方向的標(biāo)記，平行車(chē)道標(biāo)記 (在下圖中用藍(lán)色表示) 表示需要停車(chē)。我們還提供了一些屬性，例如 solid vs. dashed、 double vs. single。

下面是與現(xiàn)有車(chē)道標(biāo)記數(shù)據(jù)集的比較。

可駕駛區(qū)域

是否能在道路上行駛不僅取決于車(chē)道標(biāo)記和交通設(shè)施，還依賴(lài)與道路上其他對(duì)象間的復(fù)雜交互。***，重要的是能知道哪些區(qū)域可以駕駛。為了研究這一問(wèn)題，我們還提供了可駕駛區(qū)域的分割注釋?zhuān)缦聢D所示。我們基于車(chē)輛的軌跡將可駕駛區(qū)域分為兩類(lèi)：可駕駛和選擇性駕駛?？神{駛用紅色標(biāo)記，意味著車(chē)輛享有道路優(yōu)先權(quán)，可以在那個(gè)區(qū)域駕駛。選擇性駕駛用藍(lán)色標(biāo)記，意味著汽車(chē)可以在該地區(qū)行駛，但必須謹(jǐn)慎，因?yàn)樵撥?chē)輛在這條道路上不具有道路優(yōu)先權(quán)。

全幀分割

Cityscapes 數(shù)據(jù)集顯示，全幀精細(xì)實(shí)例分割可以大大支持預(yù)測(cè)和目標(biāo)檢測(cè)研究。由于這次公開(kāi)的視頻在不同領(lǐng)域，我們提供了實(shí)例分割注釋?zhuān)餐ㄟ^(guò)不同的數(shù)據(jù)集來(lái)比較相關(guān)的域轉(zhuǎn)移。要實(shí)現(xiàn)像素級(jí)分割非常昂貴和費(fèi)力，幸運(yùn)的是，我們自己的標(biāo)簽工具可以將標(biāo)簽成本降低 50%。***，我們對(duì)這 10K 圖像集的一個(gè)子集進(jìn)行全幀分割。為了更易研究數(shù)據(jù)集之間的域轉(zhuǎn)移，我們的標(biāo)簽集與 Cityscapes 中的訓(xùn)練注釋可兼容。

自動(dòng)駕駛挑戰(zhàn)賽

基于這一數(shù)據(jù)集，我們?cè)?CVPR 2018 自動(dòng)駕駛研討會(huì)上主辦了三個(gè)挑戰(zhàn)賽：道路目標(biāo)檢測(cè)、可駕駛區(qū)域預(yù)測(cè)和語(yǔ)義分割域適應(yīng)。檢測(cè)任務(wù)要求算法找出測(cè)試圖像中所有的目標(biāo)對(duì)象，可駕駛區(qū)域預(yù)測(cè)需要分割出汽車(chē)可以行駛的區(qū)域。在域適應(yīng)挑戰(zhàn)上，測(cè)試數(shù)據(jù)是在中國(guó)采集的，因此，這非常挑戰(zhàn)，基于來(lái)自美國(guó)的數(shù)據(jù)訓(xùn)練的模型需要能用于北京擁擠的街道。大家可以登錄如下網(wǎng)站提交結(jié)果：

http://bdd-data.berkeley.edu/login.html