DriveLM是一個基于語言的驅(qū)動項目，它包含一個數(shù)據(jù)集和一個模型。通過DriveLM，我們介紹了自動駕駛（AD）中大型語言模型的推理能力，以做出決策并確?？山忉尩囊?guī)劃。

在DriveLM的數(shù)據(jù)集中，將人工書寫的推理邏輯作為連接，促進感知、預(yù)測和規(guī)劃（P3）。在模型中，我們提出了一個具有思維圖能力的AD視覺語言模型，以產(chǎn)生更好的規(guī)劃結(jié)果。目前，數(shù)據(jù)集的演示已經(jīng)發(fā)布，完整的數(shù)據(jù)集和模型將在未來發(fā)布。

項目鏈接：https://github.com/OpenDriveLab/DriveLM

What is Graph-of-Thoughts in AD?

數(shù)據(jù)集最令人興奮的方面是，P3中的問答（QA）以圖形風格的結(jié)構(gòu)連接，QA對作為每個節(jié)點，對象的關(guān)系作為邊。

與純語言的思維樹或思維圖相比，我們更傾向于多模態(tài)。在AD域中這樣做的原因是，從原始傳感器輸入到最終控制動作，每個階段都定義了AD任務(wù)。

DriveLM數(shù)據(jù)集中包含什么？

基于主流的nuScenes數(shù)據(jù)集構(gòu)建我們的數(shù)據(jù)集。DriveLM最核心的元素是基于幀的P3 QA。感知問題需要模型識別場景中的對象。預(yù)測問題要求模型預(yù)測場景中重要對象的未來狀態(tài)。規(guī)劃問題促使模型給出合理的規(guī)劃行動，避免危險的行動。

標定過程如何？

1. 關(guān)鍵幀選擇。給定一個剪輯中的所有幀，注釋器將選擇需要注釋的關(guān)鍵幀。標準是，這些框架應(yīng)該涉及自車運動狀態(tài)的變化（變道、突然停車、停車后啟動等）。
2. 關(guān)鍵對象選擇。給定關(guān)鍵幀，注釋器需要拾取周圍六個圖像中的關(guān)鍵對象。標準是這些物體應(yīng)該能夠影響自車（交通信號燈、過街行人、其他車輛）
3. 問答注釋。給定這些關(guān)鍵對象，我們會自動生成關(guān)于感知、預(yù)測和規(guī)劃的單個或多個對象的問題。更多細節(jié)可以在我們的演示數(shù)據(jù)中找到。