作為本年度人工智能領(lǐng)域最重要的突破之一，大語言模型相關(guān)研究始終是各大相關(guān)領(lǐng)域的關(guān)注焦點。

近日，來自清華大學(xué)、中國科學(xué)院、MIT的科研人員對于大語言模型在人機(jī)交互領(lǐng)域中的應(yīng)用進(jìn)行了研究，設(shè)計了一種名為Co-Pilot的人機(jī)交互框架，使用提示引導(dǎo)ChatGPT（gpt3.5）在考慮人主觀意圖的同時完成簡單的自動駕駛?cè)蝿?wù)。

論文鏈接：https://www.researchgate.net/publication/374800815_ChatGPT_as_Your_Vehicle_Co-Pilot_An_Initial_Attempt

該研究作為最早一批使用原生語言大模型直接介入自動駕駛?cè)蝿?wù)的嘗試，揭示了大語言模型在自動駕駛領(lǐng)域進(jìn)一步深入應(yīng)用的可能性，也為后續(xù)相關(guān)研究指明了方向[1]。

研究背景：為什么使用大語言模型？

人車交互作為智能汽車發(fā)展的重要功能之一，對降低司機(jī)駕駛負(fù)擔(dān)、提升乘客出行體驗有很大幫助，相關(guān)功能也成為了消費(fèi)者在選擇時的重要標(biāo)準(zhǔn)。

盡管現(xiàn)有人機(jī)交互系統(tǒng)已經(jīng)可以實現(xiàn)語音識別、指令執(zhí)行等功能，但大多數(shù)情況下系統(tǒng)僅能根據(jù)既定指令的訓(xùn)練在有限范圍內(nèi)給出回答或響應(yīng)，存在一定的局限性。

相比之下，大語言模型在此類能力上具有更好的表現(xiàn)：

1. 可以理解人的意圖：

大語言模型具有推理能力，其可以從文字中理解說話者的真正意圖，并給出相應(yīng)的回應(yīng)；

2. 擁有常識：

得益于大量的訓(xùn)練數(shù)據(jù)中包含的知識，大預(yù)言模型具有一定的常識，并掌握許多特定領(lǐng)域的基礎(chǔ)知識與能力；

3. 對于不同任務(wù)的高度適應(yīng)性：

通過調(diào)整提示詞，大語言模型對于不同任務(wù)具有很好的適應(yīng)性，可快速適配不同種類的任務(wù)，極大提升了應(yīng)用與落地的效率。

基于此，大語言模型為解決人機(jī)共駕問題提供了一種新的思路。

為了探索大語言模型在自動駕駛?cè)藱C(jī)交互領(lǐng)域的應(yīng)用，研究人員提出了「Co-Pilot」架構(gòu)，用于實現(xiàn)乘客、大語言模型以及車輛之間的交互。

為了驗證方案的可行性，研究人員設(shè)計了兩個不同種類的任務(wù)對其進(jìn)行測試，實驗效果達(dá)到了預(yù)期。

Co-Pilot：架構(gòu)與核心

Co-Pilot架構(gòu)如下圖所示：

Co-Pilot主體機(jī)構(gòu)包含了以下模塊：

1. 編碼器：將必要的信息組成提示，通過專用API發(fā)送至大語言模型。

2. LLM：大語言模型，本工作使用ChatGPT（GPT3.5-turbo-0301）。

3. 解碼器：將自然語言回應(yīng)解析為指令或數(shù)據(jù)，用于車輛的交互與控制。

4. 保險機(jī)制：考慮到大語言模型作為概率模型的本質(zhì)，現(xiàn)階段難以杜絕其在回答中出錯，故預(yù)留該保險機(jī)制防止存在明顯錯誤的指令影響車輛運(yùn)行。

5. 記憶機(jī)制：保存Co-Pilot完成任務(wù)所必須的數(shù)據(jù)及其他信息，作為輸入的重要組成部分，可在工作過程中被實時更新。

Co-Pilot主要擁有兩種工作流程：

1. 實現(xiàn)流程：Co-pilot依據(jù)不同任務(wù)完成一次工作周期的流程。

2. 調(diào)優(yōu)流程：車輛專家依據(jù)不同任務(wù)調(diào)整記憶機(jī)制的前置優(yōu)化流程。

記憶機(jī)制

本文按照人類認(rèn)知心理學(xué)對大語言模型內(nèi)部的知識儲存進(jìn)行模擬[2]，提出了記憶機(jī)制用來劃分自動駕駛場景中可能涉及到的信息，旨在全面提升Co-Pilot信息利用效率。

專家主導(dǎo)的黑箱優(yōu)化

該方法利用黑箱優(yōu)化中在低維空間進(jìn)行無梯度優(yōu)化的思想，利用專家的主觀標(biāo)注來評估任務(wù)完成效果，從而更新記憶中的內(nèi)容來增強(qiáng)提示詞，使得LLM進(jìn)行少樣本學(xué)習(xí)。

仿真實驗

為了驗證Co-Pilot架構(gòu)的可靠性，本文設(shè)計了兩個任務(wù)，在以MATLAB/Simulink為基礎(chǔ)的仿真平臺中開展。

實驗一：軌跡跟隨控制器選擇

在該實驗中，假設(shè)有一輛自動控制的汽車在預(yù)設(shè)路徑上行駛，研究人員給定Co-Pilot當(dāng)前車輛狀態(tài)、路段情況等信息，要求其選擇最符合當(dāng)前乘客意圖（如保證速度、緊隨軌跡、體驗舒適）的運(yùn)動控制器。

運(yùn)動控制器為已有預(yù)設(shè)模塊，分別為NMPC控制器、Stanley + Preview控制器、PID控制器。

賽道總覽

實驗一的Co-Pilot具體結(jié)構(gòu)

在調(diào)優(yōu)環(huán)節(jié)中，研究人員分別對語義記憶與情景記憶進(jìn)行了更新，其中語義記憶僅能提供對控制器的種類（A1）或定性描述（A2），而情景記憶可以提供對控制器在過去相似場景下的具體表現(xiàn)（A3）。

賽道被分為五個區(qū)段，研究人員根據(jù)Co-Pilot是否在各區(qū)段選出了最符合當(dāng)前乘客意圖的控制器進(jìn)行打分（每個區(qū)段最優(yōu)1分，次優(yōu)0.5分，最差0分，賽道總分最高為5分），分析不同記憶對于Co-Pilot表現(xiàn)的影響，研究人員在「精確跟蹤」與「保持穩(wěn)定」兩種意圖下分別測試，測試結(jié)果顯示，A1僅取得3分，Co-Pilot在所有區(qū)段均選擇了NMPC控制器。

由于此時提供的信息有限，其只能根據(jù)訓(xùn)練中積攢的常識「NMPC的控制效果很好」做出判斷。A2取得了7.5分，而A3取得了8.5分，證明情景記憶在相似任務(wù)中對Co-Pilot的推理最有幫助，使其可結(jié)合人類意圖給出合理的反應(yīng)。

接著，研究人員使用了調(diào)優(yōu)后的A3提示模式開展了更復(fù)雜的實驗。在此實驗中，五個區(qū)段的人類意圖不再保持一致且引入了更口語化表達(dá)的新意圖「刺激」。

實驗結(jié)果如下圖所示，Co-Pilot在每個區(qū)段都能選出最符合乘客意圖的控制器(由于控制器在切換時受到上一區(qū)段的車輛狀態(tài)影響，導(dǎo)致被選控制器的效果與預(yù)期可能存在細(xì)微差異)。

實驗二：雙移線避障軌跡規(guī)劃

在本實驗中，研究人員將重點轉(zhuǎn)移到規(guī)劃類任務(wù)，向Co-Pilot描述當(dāng)前路況，并要求其給出未來10s內(nèi)的路徑。

在調(diào)優(yōu)環(huán)節(jié)中，研究人員更加側(cè)重對于程序記憶的組織與優(yōu)化，語義記憶與情景記憶中包含的信息基本不存在差異。在此的前提下，不同提示帶來的顯著結(jié)果差異更加值得深入探究。

四種提示的區(qū)別以及十次測試的平均得分情況

（打分依據(jù)：合理性滿分5分、完成度滿分3分、正確性滿分2分）

四種提示下的代表軌跡

在使用B4提示的前提下，進(jìn)一步引入不同種類的乘客意圖，得到的代表性軌跡如下，可以看出在給出正確避讓軌跡的基礎(chǔ)上，Co-Pilot可以進(jìn)一步調(diào)整軌跡使其符合乘客意圖。

不同乘客意圖的代表軌跡，均符合乘客意圖

結(jié)果討論

實驗中我們可以注意到，提示中不同記憶的組合，對于LLM的表現(xiàn)有著顯著影響。

1. LLM可根據(jù)常識以及記憶中包含的信息進(jìn)行推理，在提供的信息不足以實現(xiàn)合理推斷時，LLM可根據(jù)其訓(xùn)練中積累的經(jīng)驗做出決策；

2. 提示中的程序記憶在任務(wù)本身的描述上有時并不存在本質(zhì)區(qū)別，但卻對LLM的表現(xiàn)產(chǎn)生了很大影響。

這些現(xiàn)象引出了后續(xù)可能值得研究的更多問題：類似交通等復(fù)雜場景應(yīng)該如何高效描述以發(fā)揮LLM的優(yōu)勢？LLM內(nèi)部實現(xiàn)推理/完成任務(wù)的機(jī)制究竟如何？這些問題與大模型乃至人工智能的可解釋性、安全性等重要問題息息相關(guān)。

未來展望與挑戰(zhàn)

Co-Pilot是一種創(chuàng)新的嘗試，它將LLM應(yīng)用于人機(jī)混合智能[3]。LLM大大提高了人機(jī)通信的效率，使人類和機(jī)器更好地理解彼此。

人類專家對Co-Pilot進(jìn)行調(diào)優(yōu)的過程可以被視為系統(tǒng)的自適應(yīng)學(xué)習(xí)。這使得深入的人機(jī)合作成為可能，并且在測試和調(diào)整人工智能系統(tǒng)方面具有巨大潛力。

LLM與現(xiàn)有平行學(xué)習(xí)架構(gòu)[4]相結(jié)合，可進(jìn)一步提升機(jī)器學(xué)習(xí)的效率

另一方面，正如本文實驗中展示的，大語言模型通過海量數(shù)據(jù)訓(xùn)練得到的常識能在其工作中發(fā)揮重要作用。

后續(xù)在此基礎(chǔ)上，多模態(tài)混合大模型（如視覺+語言模態(tài)）能夠進(jìn)一步打通「感知-規(guī)劃-執(zhí)行」的流程，使得此類大模型可勝任自動駕駛、機(jī)器人等需要與現(xiàn)實世界交互的復(fù)雜任務(wù)[5]。

當(dāng)然，研究過程中涌現(xiàn)出的許多潛在挑戰(zhàn)也值得關(guān)注：例如，怎樣進(jìn)一步提升LLM的性能？如何保證LLM表現(xiàn)得一致性、穩(wěn)定性？在面對更復(fù)雜的動態(tài)場景時，如何保證LLM正確完成任務(wù)？

總結(jié)

本工作提出了一種將大語言模型直接用于人機(jī)共駕任務(wù)的Co-Pilot架構(gòu)，并設(shè)計對應(yīng)實驗初步證明了架構(gòu)的可靠性以及大語言模型在自動駕駛類任務(wù)中的可適用性，討論了相關(guān)領(lǐng)域研究的潛在機(jī)遇及挑戰(zhàn)。

該項工作已于近日發(fā)表于IEEE Transactions on Intelligent Vehicles，來自清華大學(xué)深圳國際研究生院的王詩漪以及來自清華大學(xué)自動化系的朱宇軒為本文共同第一作者，通訊作者為清華大學(xué)自動化系李力教授。