本文經(jīng)自動(dòng)駕駛之心公眾號(hào)授權(quán)轉(zhuǎn)載，轉(zhuǎn)載請聯(lián)系出處。

隨著以ChatGPT為代表的生成式人工智能的發(fā)展，端到端自動(dòng)駕駛系統(tǒng)得到了廣泛關(guān)注，有望為通用場景的駕駛智能帶來革命性突破。以全部模塊神經(jīng)網(wǎng)絡(luò)化為特征的端到端系統(tǒng)對專家規(guī)則的依賴度低，功能的集約性與實(shí)時(shí)性強(qiáng)，具備智能涌現(xiàn)能力和跨場景應(yīng)用潛力，是實(shí)現(xiàn)數(shù)據(jù)驅(qū)動(dòng)自進(jìn)化駕駛能力的重要途徑。

近期，來自于清華大學(xué)的李升波等學(xué)者的論文，討論了端到端汽車自動(dòng)駕駛系統(tǒng)的關(guān)鍵技術(shù)與發(fā)展趨勢。論文介紹了生成式人工智能的技術(shù)現(xiàn)狀，總結(jié)了端到端自動(dòng)駕駛的關(guān)鍵技術(shù)，歸納了該類自動(dòng)駕駛系統(tǒng)的發(fā)展現(xiàn)狀，并總結(jié)了生成式人工智能與自動(dòng)駕駛?cè)诤习l(fā)展的技術(shù)挑戰(zhàn)。目前，該論文已在《人工智能》期刊2023年第5期出版，原稿約14000字。此文為縮減版，約2800字，感興趣的讀者可下載原文閱讀。

論文地址：
https://aiview.cbpt.cnki.net/WKD/WebPublication/paperDigest.aspx?paperID=60ba64c1-3dee-4986-bed9-f86b98006872

下載鏈接：
https://kns.cnki.net/kcms/detail/detail.aspx?filename=DKJS202305001&dbname=cjfdtotal&dbcode=CJFD&v=MjMyODFTYkJmYkc0SE5MTXFvOUZaWVI2RGc4L3poWVU3enNPVDNpUXJSY3pGckNVUjdtZVplWnJGeXJsVjd2Skk=

1 生成式人工智能的技術(shù)現(xiàn)狀

數(shù)據(jù)、算力和算法是大模型發(fā)展的支柱，其中算法是大模型的核心技術(shù)體現(xiàn)。現(xiàn)有大模型多以Transformer結(jié)構(gòu)為基礎(chǔ)，采用“預(yù)訓(xùn)練（Pre-training）+微調(diào)（Fine-tune）”技術(shù)進(jìn)行參數(shù)學(xué)習(xí)，使之適配不同領(lǐng)域的具體任務(wù)，經(jīng)剪枝壓縮后完成最終部署。本節(jié)將圍繞網(wǎng)絡(luò)架構(gòu)、預(yù)訓(xùn)練、微調(diào)和剪枝壓縮四個(gè)方面對大模型關(guān)鍵技術(shù)進(jìn)行介紹。

1.1 神經(jīng)網(wǎng)絡(luò)的架構(gòu)設(shè)計(jì)

大模型的出現(xiàn)得益于深度學(xué)習(xí)浪潮中深度神經(jīng)網(wǎng)絡(luò)的發(fā)展。深層網(wǎng)絡(luò)的學(xué)習(xí)建模能力更強(qiáng)，有利于模型的性能提升。

在2017年，Google提出了神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)Transformer（圖1），大幅提升了網(wǎng)絡(luò)表達(dá)能力，在CV、NLP等多個(gè)領(lǐng)域大放異彩，Transformer現(xiàn)已成為大模型的基礎(chǔ)網(wǎng)絡(luò)結(jié)構(gòu)之一。Transformer是以注意力機(jī)制為核心的編解碼器結(jié)構(gòu)，其主要結(jié)構(gòu)為注意力、位置編碼、殘差連接、層歸一化模塊。Transformer被廣泛應(yīng)用于NLP、CV、RL等領(lǐng)域的大模型中。

圖1 Transformer網(wǎng)絡(luò)結(jié)構(gòu)

1.2 預(yù)訓(xùn)練與微調(diào)技術(shù)

預(yù)訓(xùn)練是使大模型獲得通用知識(shí)并加速模型在微調(diào)階段收斂的關(guān)鍵步驟。根據(jù)序列建模的方式，語言模型可以分為自回歸語言模型和自編碼語言模型（圖2）。自回歸語言模型使用Transformer的解碼器結(jié)構(gòu)，根據(jù)前文預(yù)測下一個(gè)詞，從而對序列的聯(lián)合概率進(jìn)行單向建模。自編碼語言模型則利用Transformer的編碼器結(jié)構(gòu)，通過預(yù)測序列中的某個(gè)詞來雙向建模序列的聯(lián)合概率。

圖2兩類語言模型示意圖

微調(diào)是指將預(yù)訓(xùn)練好的大模型在下游任務(wù)中進(jìn)行調(diào)整，使之與具體任務(wù)更加適配。微調(diào)后的大模型與預(yù)訓(xùn)練大模型相比，在下游任務(wù)中性能通常大幅提升。隨著模型規(guī)模不斷增大，微調(diào)所有參數(shù)變得十分困難，因此近年來出現(xiàn)了多種高效微調(diào)方法，包括Vanilla Finetune、Prompt Tuning以及Reinforcement Learning from Human Feedback（RLHF）等方法（圖3）。

圖3 三種微調(diào)方法示意圖

1.3 模型的剪枝與壓縮

訓(xùn)練好的大模型需要部署在算力和內(nèi)存受限的系統(tǒng)上，因此需要對大模型進(jìn)行剪枝和壓縮，減小模型中的冗余結(jié)構(gòu)和信息，使其能在受限的計(jì)算資源上進(jìn)行快速推理，同時(shí)盡量減小對模型精度的影響。大模型的壓縮方法主要包括模型剪枝、知識(shí)蒸餾和量化。

2 端到端自動(dòng)駕駛的關(guān)鍵技術(shù)

人工智能技術(shù)與自動(dòng)駕駛技術(shù)的融合，關(guān)鍵在于打通以車云協(xié)同為核心的邊緣場景數(shù)據(jù)采集和自動(dòng)駕駛模型訓(xùn)練的在線循環(huán)迭代路徑。圖4展示了車云協(xié)同的自動(dòng)駕駛大模型開發(fā)方案：由一定規(guī)模具有網(wǎng)聯(lián)功能的車輛進(jìn)行眾包數(shù)據(jù)采集，數(shù)據(jù)清洗和篩選之后上傳至云控計(jì)算平臺(tái)；利用云控平臺(tái)的充足算力，生成海量仿真駕駛數(shù)據(jù)；融合虛實(shí)數(shù)據(jù)進(jìn)行場景構(gòu)建，利用自監(jiān)督學(xué)習(xí)、強(qiáng)化學(xué)習(xí)、對抗學(xué)習(xí)等方法對自動(dòng)駕駛大模型進(jìn)行在線迭代優(yōu)化；所學(xué)大模型經(jīng)剪枝壓縮后得到車規(guī)級(jí)實(shí)時(shí)模型，并通過OTA方式下載到車載芯片，完成車端駕駛策略的自進(jìn)化學(xué)習(xí)。

圖4 車云協(xié)同的自動(dòng)駕駛大模型開發(fā)方案

具體研究內(nèi)容包括：（1）面向自動(dòng)駕駛的大模型基礎(chǔ)理論；（2）自動(dòng)駕駛感知認(rèn)知通用基礎(chǔ)大模型；（3）自動(dòng)駕駛決策控制通用基礎(chǔ)大模型；（4）自動(dòng)駕駛大數(shù)據(jù)采集生成與自動(dòng)標(biāo)注；（5）車云協(xié)同的基礎(chǔ)大模型持續(xù)進(jìn)化；（6）自主可控的車用集成部署工具鏈與平臺(tái)。

3 端到端自動(dòng)駕駛的技術(shù)發(fā)展趨勢

隨著大模型技術(shù)的不斷發(fā)展，以ChatGPT為代表的大模型技術(shù)展現(xiàn)出令人驚嘆的效果。大模型已在多項(xiàng)工業(yè)實(shí)踐中得到初步應(yīng)用中，有望成為實(shí)體經(jīng)濟(jì)新的增長引擎。

3.1 感知大模型

自動(dòng)駕駛的感知模塊利用傳感器采集的數(shù)據(jù)，實(shí)時(shí)動(dòng)態(tài)地生成駕駛環(huán)境的感知結(jié)果。感知大模型是提升車輛自動(dòng)駕駛能力的核心驅(qū)動(dòng)力之一，這些模型能識(shí)別和理解道路、交通標(biāo)志、行人、車輛等信息，為自動(dòng)駕駛車輛提供環(huán)境感知，繼而用于車輛自主決策。

目前在自動(dòng)駕駛感知方面已有相關(guān)應(yīng)用，例如百度文心UFO 2.0視覺大模型、華為盤古CV以及商湯的INTERN大模型等。

鳥瞰圖感知（Bird's Eye View，BEV）是當(dāng)前主流感知方案之一，它將攝像頭、雷達(dá)等多源傳感器的感知信息轉(zhuǎn)換至鳥瞰視角，并行地完成目標(biāo)檢測、圖像分割、跟蹤和預(yù)測等多項(xiàng)感知任務(wù)，如圖5所示。典型工作如特斯拉的BEV感知，百度的UniBEV和商湯的FastBEV。

圖5 鳥瞰圖感知流程

3.2 預(yù)測大模型

預(yù)測是自動(dòng)駕駛的關(guān)鍵組成部分，它主要涉及對周邊交通參與者未來運(yùn)動(dòng)狀態(tài)的預(yù)測，也稱為軌跡預(yù)測。軌跡預(yù)測綜合考慮道路結(jié)構(gòu)、歷史軌跡以及與其他交通參與者的交互關(guān)系等信息，輸出一條或多條未來可能行駛的軌跡，供下游決策控制任務(wù)參考。數(shù)據(jù)驅(qū)動(dòng)型的軌跡預(yù)測方法通常采用編碼-解碼架構(gòu)，包括信息表示、場景編碼和多模態(tài)解碼等主要環(huán)節(jié)。代表工作包括谷歌Wayformer、清華SEPT和毫末智行DriveGPT等。

3.3 決控大模型

自主決策與運(yùn)動(dòng)控制是自動(dòng)駕駛的核心功能，決策與控制水平的高低決定了自動(dòng)駕駛汽車的智能程度。自動(dòng)駕駛決控系統(tǒng)的技術(shù)方案主要經(jīng)過了三個(gè)發(fā)展階段：專家規(guī)則型、模仿學(xué)習(xí)型以及類腦學(xué)習(xí)型。自動(dòng)駕駛決策控制大模型的目標(biāo)是構(gòu)建以深度學(xué)習(xí)與強(qiáng)化學(xué)習(xí)為代表、數(shù)據(jù)驅(qū)動(dòng)與知識(shí)引導(dǎo)相結(jié)合的決策控制通用基礎(chǔ)模型訓(xùn)練算法，為自動(dòng)駕駛智能性突破提供解決方案。

目前工業(yè)界尚缺乏用于自動(dòng)駕駛的決策與控制一體化大模型。由清華大學(xué)提出的集成式架構(gòu)（IDC）將決策與控制整合為統(tǒng)一的約束型最優(yōu)控制問題，利用數(shù)據(jù)驅(qū)動(dòng)算法求解評價(jià)模型與策略模型，它以環(huán)境感知結(jié)果為輸入，直接輸出油門、制動(dòng)、轉(zhuǎn)向等控制指令。IDC 具有在線計(jì)算效率高、可解釋性強(qiáng)、無需人工標(biāo)注數(shù)據(jù)、可自回歸地預(yù)測下一個(gè)動(dòng)作等優(yōu)點(diǎn)，為大模型應(yīng)用于自動(dòng)駕駛決控奠定了基礎(chǔ)。圖6為傳統(tǒng)專家分層式和集成式?jīng)Q控架構(gòu)示意圖。

圖6 兩種決控架構(gòu)示意圖

3.4 端到端訓(xùn)練的自動(dòng)駕駛模型

端到端的自動(dòng)駕駛方案將輸入的原始傳感器數(shù)據(jù)直接映射輸出為軌跡點(diǎn)或低級(jí)控制命令，與分層式架構(gòu)相比，其具有簡潔的方案結(jié)構(gòu)與巨大的性能潛力。端到端方案的工業(yè)應(yīng)用面臨著數(shù)據(jù)短缺、學(xué)習(xí)效率低下和魯棒性差等問題，尤其無法保障任何極端情況下模型輸出的安全性，這將成為其應(yīng)用于自動(dòng)駕駛領(lǐng)域的最大挑戰(zhàn)。代表工作有上海人工智能實(shí)驗(yàn)室的UniAD和特斯拉FSD Beta V12。

隨著算力發(fā)展與大模型技術(shù)的興起，端到端的自動(dòng)駕駛將為行業(yè)帶來新的突破。針對端到端方案，不斷降低其技術(shù)門檻、進(jìn)行可解釋性研究、以及提出更多保障端到端自動(dòng)駕駛安全的算法，將是未來熱門的研究方向。

4 總結(jié)

以大模型為代表的生成式人工智能是智能網(wǎng)聯(lián)汽車發(fā)展的戰(zhàn)略前瞻方向。這需要進(jìn)一步突破：適用于駕駛大數(shù)據(jù)的大模型預(yù)訓(xùn)練方法和學(xué)習(xí)理論；泛場景、泛對象、跨模態(tài)適用的感知認(rèn)知和決策控制通用基礎(chǔ)模型；仿真環(huán)境數(shù)據(jù)與真實(shí)場景數(shù)據(jù)結(jié)合的大規(guī)模數(shù)據(jù)采集與標(biāo)注系統(tǒng)；車云協(xié)同的基礎(chǔ)大模型持續(xù)進(jìn)化技術(shù)與車用集成部署工具鏈與平臺(tái)等。以上技術(shù)的攻關(guān)將打通以車云協(xié)同為核心的駕駛大數(shù)據(jù)和自動(dòng)駕駛大模型算法在線循環(huán)迭代路徑，推動(dòng)端到端自動(dòng)駕駛技術(shù)在全場景的落地應(yīng)用。

原文鏈接：https://mp.weixin.qq.com/s/ka0k31i5ZuXcx_C6damNLw