在普渡大學數(shù)字孿生實驗室的最新成果中，研究人員引入了一種革命性的技術(shù)——利用大型語言模型（LLM）為自動駕駛汽車提供智能指令解析能力。

該技術(shù)的核心為Talk2Drive框架，旨在通過理解人類的自然語言來控制自動駕駛汽車，從而實現(xiàn)了一種前所未有的人車交互方式。

圖片

論文鏈接：https://arxiv.org/abs/2312.09397

項目網(wǎng)站：purduedigitaltwin.github.io/llm4ad

Talk2Drive框架通過其創(chuàng)新性的設(shè)計，實現(xiàn)了自動駕駛汽車與人類駕駛員之間的高效、直觀交互。該框架的運行流程涵蓋了從接收命令、處理與推理，到生成可執(zhí)行代碼，以及代碼的執(zhí)行和反饋收集幾個關(guān)鍵步驟。

首先，框架通過先進的語音識別技術(shù)接收和轉(zhuǎn)換人類的口頭命令為文本指令，這一步驟確保了人類的意圖被準確理解。

然后，結(jié)合云端的實時環(huán)境數(shù)據(jù)，包括天氣、交通狀況等，LLM能夠在處理命令時考慮到這些關(guān)鍵的上下文信息，確保生成的駕駛策略既安全又適應(yīng)當前的環(huán)境條件。

圖片

LLM通過使用上下文學習和思維鏈提示，對命令進行推理，生成的代碼不僅包含了簡單的駕駛指令，還涉及復(fù)雜的駕駛行為和需要在車輛的低級控制器中調(diào)整的參數(shù)。這些參數(shù)的調(diào)整，如前瞻距離和速度，是基于對當前道路狀況和駕駛員需求的深入理解。

在安全性方面，Talk2Drive框架通過對生成代碼的格式和參數(shù)進行嚴格檢查，確保了自動駕駛行為的安全性。

，時長05:24

此外，記憶模塊的引入，允許系統(tǒng)記錄和學習駕駛員的偏好和反饋，為駕駛員提供更加個性化的駕駛體驗。

Talk2Drive框架的獨特之處在于它的高度個性化服務(wù)。

通過分析乘客的語言指令，如「請盡快送我到目的地，我不想讓朋友等太久」或「我感覺有些暈車，請減慢速度」，該框架能夠精確理解并滿足乘客的需求。每次的人車交互都會被記錄并用于優(yōu)化系統(tǒng)，使得它能夠?qū)W習乘客的偏好，并在未來提供更加定制化的駕駛體驗。

圖片

此外，實驗結(jié)果顯示，對不同駕駛風格的駕駛員，采用不同的LLM，采用Talk2Drive框架的自動駕駛汽車在實際道路測試中表現(xiàn)出色，能理解駕駛員不同晦澀程度的指令，有效降低了人為接管的需求，并且能夠適應(yīng)不同的駕駛風格和場景。

這一成就不僅展示了大語言模型在自動駕駛領(lǐng)域的巨大潛力，也為未來的自動駕駛技術(shù)發(fā)展打開了新的道路。

圖片

對不同類型的駕駛員， 使用Talk2Drive 框架能顯著降低駕駛過程中的接管率。

隨著技術(shù)的不斷進步和優(yōu)化，Talk2Drive框架將能夠為自動駕駛汽車提供更加安全、舒適和個性化的駕駛體驗。這一突破性的研究不僅標志著自動駕駛與人機交互領(lǐng)域的融合與進步，也預(yù)示著一個以人為本、更加智能化的未來交通時代的到來。

研究團隊

普渡大學數(shù)字孿生實驗室致力于在大語言模型與自動駕駛的交叉領(lǐng)域中進行創(chuàng)新和探索。

歡迎全球?qū)Υ祟I(lǐng)域感興趣的研究者、工程師及行業(yè)同仁訪問我們的項目網(wǎng)站，共同推進自動駕駛技術(shù)的發(fā)展，探索未來交通的可能性。

圖片

參考資料：

https://arxiv.org/abs/2312.09397