世界模型被廣泛認(rèn)為是實現(xiàn)通用人工智能的關(guān)鍵技術(shù)，其核心能力在于模擬真實世界的動態(tài)變化，并為決策提供精準(zhǔn)的未來狀態(tài)預(yù)測。在自動駕駛領(lǐng)域，世界模型的應(yīng)用尤為引人注目。然而，現(xiàn)有數(shù)據(jù)集在視頻多樣性和行為復(fù)雜性方面的不足，限制了世界模型潛力的全面發(fā)揮。為了解決這一瓶頸，中國科學(xué)院自動化研究所聯(lián)合美團(tuán)無人車團(tuán)隊推出了 DrivingDojo 數(shù)據(jù)集 —— 全球規(guī)模最大、專為自動駕駛世界模型研究設(shè)計的高質(zhì)量視頻數(shù)據(jù)集。該數(shù)據(jù)集已被 NeurIPS 2024 的 Dataset Track 接收。

• 網(wǎng)站：https://drivingdojo.github.io/
• 論文：https://arxiv.org/pdf/2410.10738
• 代碼：https://github.com/Robertwyq/Drivingdojo

世界模型的核心在于交互、知識以及泛化

世界模型刻畫了智能體在當(dāng)前狀態(tài) 下采取特定動作 之后環(huán)境狀態(tài)所有可能的變化的分布。相比于單純關(guān)注于生成的圖像質(zhì)量，我們認(rèn)為其他道路參與者的行為（other agents behavior）以及整體的世界動態(tài)（general world dynamics）也同樣值得關(guān)注，即世界模型的交互、知識以及泛化能力。

交互：世界模型應(yīng)具備合理預(yù)測動態(tài)交互行為的能力。例如，在自動駕駛場景中，系統(tǒng)需要準(zhǔn)確預(yù)測自車與行人或其他道路使用者之間的交互。除了理解靜態(tài)環(huán)境的變化，更重要的是能夠提供動態(tài)反饋，以支持系統(tǒng)在復(fù)雜場景中的應(yīng)對。

知識：世界模型應(yīng)具備對環(huán)境中世界知識的深刻理解。例如，在自動駕駛場景中，系統(tǒng)需要能夠理解紅綠燈、升降桿等關(guān)鍵場景元素，以便作出恰當(dāng)?shù)鸟{駛決策。然而，僅通過像素級重建是否能準(zhǔn)確建模這些知識仍然存在疑問，因此引入語言模型成為提升系統(tǒng)理解能力的關(guān)鍵手段。

泛化：世界模型的預(yù)測能力應(yīng)能夠擴(kuò)展到新的未知場景，尤其是各種長尾場景，如稀有事件或極端環(huán)境下的駕駛表現(xiàn)。這種泛化能力是確保模型在真實世界中穩(wěn)定運行的關(guān)鍵。

DrivingDojo 數(shù)據(jù)集

DrivingDojo 數(shù)據(jù)集相較于傳統(tǒng)的感知數(shù)據(jù)集，經(jīng)過精心的挖掘與篩選，更加注重視頻多樣性的設(shè)計。從掉落的水桶、倒下的柵欄，到突然竄出的動物、夜晚的篝火、路上的羊群，包含了海量的長尾駕駛場景，為世界模型的研究提供了堅實的基礎(chǔ)。

DrivingDojo 數(shù)據(jù)集包含大約 18k 個視頻，平均時長約為 20 秒。整個數(shù)據(jù)集可以劃分為三個子集，分別聚焦于駕駛行為、動態(tài)交互和世界知識的探索。

駕駛行為：還原真實駕駛操作的多樣性

我們精心構(gòu)建了一個名為 DrivingDojo-Action 的子集，全面覆蓋駕駛操作的多樣化場景，呈現(xiàn)縱向與橫向行為的均衡分布：

• 縱向操作：包含加速、減速、緊急剎車和起停駕駛，精準(zhǔn)展現(xiàn)車輛在速度調(diào)控中的動態(tài)表現(xiàn)。
• 橫向操作：涵蓋變道和車道保持，細(xì)致描繪車輛在空間選擇和路徑優(yōu)化中的決策能力。

動態(tài)交互：捕捉復(fù)雜交通中的行為模式

除了在靜態(tài)道路網(wǎng)絡(luò)環(huán)境中進(jìn)行導(dǎo)航外，建模多智能體之間的動態(tài)交互（如并入和讓行）也是世界模型的一個關(guān)鍵任務(wù)。我們精心挖掘了這一子集，比如并線、會車、被阻擋、超車、被超車。這一子集為世界模型提供了豐富的交互場景，助力其更好地應(yīng)對復(fù)雜的交通環(huán)境。

世界知識：賦能開放世界的智能理解

不同于感知和預(yù)測模型通過將高維傳感器輸入壓縮為低維向量表示，世界模型在像素空間中運行，展現(xiàn)出更強(qiáng)的場景建模能力。這種增強(qiáng)的能力使得世界模型能夠有效捕捉開放世界駕駛場景中的復(fù)雜動態(tài)，例如動物突然橫穿馬路或貨物從車輛后備廂掉落等意外情況。通過在像素層面上的深度理解，世界模型為處理復(fù)雜交通情境提供了更可靠的基礎(chǔ)。

推動智能交互與知識驅(qū)動的自動駕駛世界模型

真實多樣的駕駛場景生成

軌跡控制的視頻生成

給定初始幀和軌跡，世界模型預(yù)測未來的情景

預(yù)測不同的未來情景

我們提出了運動指令跟隨的視頻預(yù)測任務(wù)，這也是世界模型的核心。以往的研究主要依賴于定性觀察，而在實際駕駛中，控制精度需要通過定量指標(biāo)進(jìn)行評估。由于生成視頻中缺少真實軌跡，我們采用了 COLMAP 重建方法對生成的軌跡進(jìn)行重建，從而實現(xiàn)粗略的定量評測。

利用 COLMAP 估計生成視頻的軌跡

生成能力的泛化

與以往在同一數(shù)據(jù)集上進(jìn)行的生成測試相比，我們認(rèn)為跨數(shù)據(jù)集的測試更為重要，這更好地體現(xiàn)了模型的泛化生成能力。在測試過程中，我們選擇了 OpenDV 的子集來進(jìn)行評估。

我們也期望模型具備良好的泛化能力：如運動行為的泛化，以及跨數(shù)據(jù)集的運動行為泛化。

1. 異常行為生成 2. 在 nuScenes 數(shù)據(jù)集實現(xiàn)倒車

交互行為的預(yù)測

這一部分的核心在于探索世界模型是否能夠根據(jù)不同行為的輸入預(yù)測智能體之間的交互動態(tài)。以下示例中，當(dāng)自車選擇停車時，模型預(yù)測右前方的車輛會搶占道路進(jìn)行超車；而當(dāng)自車選擇繼續(xù)前行時，模型則預(yù)測右前方的車輛會等待自車先通過。

長時間高質(zhì)量駕駛視頻生成