本文經(jīng)自動(dòng)駕駛之心公眾號(hào)授權(quán)轉(zhuǎn)載，轉(zhuǎn)載請(qǐng)聯(lián)系出處。

• 論文鏈接：https://arxiv.org/pdf/2408.13742
• 代碼鏈接：https://github.com/HKUST-Aerial-Robotics/MIND

本文介紹了基于自適應(yīng)交互模態(tài)探索的多模態(tài)集成的預(yù)測(cè)與決策。由于多模態(tài)交互的復(fù)雜性，在擁堵且動(dòng)態(tài)的環(huán)境中導(dǎo)航給自動(dòng)駕駛系統(tǒng)帶來了重大挑戰(zhàn)，其中各種交通參與者和自動(dòng)駕駛車輛的行為是復(fù)雜的，并且是隱式耦合的。本文提出了一種新的框架，即多模態(tài)集成的預(yù)測(cè)與決策（MIND），其通過高效地生成涵蓋多種不同交互模態(tài)的聯(lián)合預(yù)測(cè)和決策來解決這些挑戰(zhàn)。具體而言，MIND利用基于學(xué)習(xí)的場(chǎng)景預(yù)測(cè)來獲得具有社會(huì)一致性交互模態(tài)的集成預(yù)測(cè)和決策，并且利用模態(tài)感知?jiǎng)討B(tài)分支機(jī)制來生成場(chǎng)景樹，該場(chǎng)景樹高效地捕獲不同交互模態(tài)的演變，其在規(guī)劃范圍內(nèi)交互不確定性的變化較小。交互不確定性下的應(yīng)急規(guī)劃無縫地利用場(chǎng)景樹來獲得明確且考慮多模態(tài)演變的行為?；诂F(xiàn)實(shí)世界駕駛數(shù)據(jù)集的閉環(huán)仿真中的綜合實(shí)驗(yàn)結(jié)果表明，本文方法在各種駕駛環(huán)境下的性能優(yōu)于其它強(qiáng)大的基線。

主要貢獻(xiàn)

本文的貢獻(xiàn)總結(jié)如下：

1）本文設(shè)計(jì)了一種場(chǎng)景預(yù)測(cè)網(wǎng)絡(luò)，并且將其與具有動(dòng)態(tài)分支機(jī)制的樹搜索技術(shù)相結(jié)合，從而獲得覆蓋范圍更廣的場(chǎng)景樹，用于探索世界的演變；

2）對(duì)于場(chǎng)景樹中的多種潛在未來變化，本文利用應(yīng)急規(guī)劃來自然地生成針對(duì)從根開始的每個(gè)分支的最優(yōu)軌跡樹，從而確定最佳決策；

3）本文通過各種實(shí)驗(yàn)評(píng)估MIND，結(jié)果表明，在不同的駕駛場(chǎng)景中優(yōu)于其它基線，展現(xiàn)了其在復(fù)雜情況下的有效性。

論文圖片和表格

總結(jié)

本文引入了MIND框架，其作為動(dòng)態(tài)交互環(huán)境中實(shí)現(xiàn)自動(dòng)駕駛同時(shí)預(yù)測(cè)與決策的綜合方法。該框架系統(tǒng)性地結(jié)合了場(chǎng)景預(yù)測(cè)網(wǎng)絡(luò)、自適應(yīng)交互模態(tài)探索機(jī)制和應(yīng)急規(guī)劃，以在處理多模態(tài)未來演變的同時(shí)，在復(fù)雜交互場(chǎng)景中生成合理的行為。與最新技術(shù)的廣泛定量比較以及定性實(shí)驗(yàn)證明了本文方法的優(yōu)越性。展望未來，本文旨在將所提出的框架擴(kuò)展到現(xiàn)實(shí)世界應(yīng)用中。