本文經(jīng)自動駕駛之心公眾號授權轉載，轉載請聯(lián)系出處。

毫不意外，隨著Tesla V12在北美大范圍推送以及憑借其良好的表現(xiàn)開始獲得越來越多用戶的認同，端到端自動駕駛也成為了自動駕駛行業(yè)里大家最為關注的技術方向。最近有機會和很多行業(yè)中的一流工程師，產(chǎn)品經(jīng)理，投資者，媒體人進行了一些交流，發(fā)現(xiàn)大家雖然對端到端自動駕駛很感興趣，但甚至在一些對端到端自動駕駛的基本理解上還存在著一些這樣那樣的誤區(qū)。作為有幸體驗過國內(nèi)一線品牌有圖無圖城市功能，同時又體驗過FSD V11和V12兩個版本的人，在這里我想結合自己專業(yè)背景和對Tesla FSD常年的進展跟蹤，談幾個現(xiàn)階段大家談及端到端自動駕駛的常見誤區(qū)，并給出我自己對于這些問題的解讀。

疑惑一：端到端感知，端到端決策規(guī)劃都可以算作是端到端自動駕駛？

首先端到端自動駕駛的定義基本上大家明確了是指從傳感器輸入開始到規(guī)劃甚至控制信號輸出（馬斯克所說Photon to Control）中間所有的步驟都是端到端可導，這樣整個系統(tǒng)可以作為一個大模型進行梯度下降的訓練，通過梯度反向傳播可以在模型訓練期間對模型從輸入到輸出之間的全部環(huán)節(jié)進行參數(shù)更新優(yōu)化，從而能夠針對用戶直接感知到的駕駛決策軌跡，優(yōu)化整個系統(tǒng)的駕駛行為。而最近一些友商在宣傳端到端的自動駕駛的過程中聲稱自己是端到端感知，或者端到端的決策，但這二者其實我認為都不能算作是端到端的自動駕駛，而只能被稱作純數(shù)據(jù)驅動的感知和純數(shù)據(jù)驅動的決策規(guī)劃。

甚至有的人將模型出決策，再結合傳統(tǒng)方法來做安全校驗和軌跡優(yōu)化的混合策略也叫做端到端規(guī)劃，另外也有說法認為Tesla V12并不是純粹的模型輸出控制信號，應該也是結合了一些規(guī)則方法的混合策略，根據(jù)就是http://X.com上的著名Green前段時間發(fā)過一條twitter稱在V12技術棧里還是能夠發(fā)現(xiàn)規(guī)則的代碼。對此我的理解是Green發(fā)現(xiàn)的代碼很可能是V12高速技術棧保留的V11版本代碼，因為我們知道目前V12其實只是用端到端替換了原本城市技術棧，高速仍舊會切回V11的方案，因此在解開的代碼中找到一些規(guī)則代碼的只言片語并不代表V12是假“端到端”而是找到的很可能是高速的代碼。實際上我們從2022年的AI Day上就可以看出，V11及以前的版本已經(jīng)是混合方案，因此V12如果不是徹底的模型直出軌跡，那么方案上就和之前的版本沒有什么本質的區(qū)別了，如果是這樣V12的性能跳躍性提升又沒辦法合理的解釋了。關于Tesla之前的方案可以參考我的AI Day解讀EatElephant：Tesla AI Day 2022 - 萬字解讀：堪稱自動駕駛春晚，去中心化的研發(fā)團隊，野心勃勃的向AI技術公司轉型。

從2022年AI Day上來看，V11已經(jīng)是混合了NN Planner的規(guī)劃方案

總而言之，無論是感知后處理代碼，還是規(guī)劃的候選軌跡打分，甚至是安全兜底策略，一旦引入了規(guī)則的代碼，有了if else的分支，整個系統(tǒng)的梯度傳遞就會被截斷，這也就損失了端到端系統(tǒng)通過訓練獲得全局優(yōu)化的最大優(yōu)勢。

疑惑二：端到端是對之前技術的推倒重來？

另一個常見的誤區(qū)是端到端就是推翻了之前積累的技術進行徹底的新技術的革新，并且很多人覺得既然Tesla剛剛實現(xiàn)了端到端自動駕駛系統(tǒng)的用戶推送，那么其他廠商根本不用再在原本感知，預測，規(guī)劃的模塊化技術棧上迭代，大家直接進入端到端的系統(tǒng)，反而可以憑借后發(fā)優(yōu)勢快速追上甚至趕超Tesla。確實以一個大模型來完成從傳感器輸入到規(guī)劃控制信號的映射是最為徹底的端到端，也很早就有公司嘗試過類似的方法，例如Nvidia的DAVE-2和Wayve等公司就使用了類似的方法。這種徹底的端到端技術確實更接近黑盒，很難進行debug和迭代優(yōu)化，同時由于傳感器輸入信號如圖像，點云等是非常高緯度的輸入空間，輸出控制信號如方向盤轉角和油門剎車踏板是相對輸入來說非常低維的輸出空間。由高維空間向低維空間的映射是由非常多的可行映射，然而這其中真正對應正確可靠邏輯的映射則只是其中一個映射，也就是說直接進行這樣的端到端訓練非常容易過擬合，導致實車測試完全無法使用。

徹底的端到端系統(tǒng)也會使用一些常見的如語義分割，深度估計等輔助任務幫助模型收斂和debug

所以我們實際看到的FSD V12保留了幾乎所有之前的可視化內(nèi)容，這表明FSD V12是在原本強大的感知的基礎上進行的端到端訓練，從2020年10月開始的FSD迭代并沒有被拋棄，反而是成為了V12堅實的技術基礎。Andrej Karparthy之前也回答過類似問題，他雖然沒有參與V12的研發(fā)，但他認為所有之前的技術積累并沒有被拋棄，只是從臺前遷移到了幕后。所以端到端是在原有技術基礎上一步步去掉個部分的規(guī)則代碼逐漸實現(xiàn)的端到端可導。

V12保留了FSD幾乎所有的感知，只取消了椎桶等有限的可視化內(nèi)容

疑惑三：學術Paper中的端到端能否遷移到實際產(chǎn)品中？

UniAD成為2023年CVPR Best Paper無疑代表了學術界對端到端的自動駕駛系統(tǒng)寄予的厚望。從2021年Tesla介紹了其視覺BEV感知技術的創(chuàng)新后，國內(nèi)學術界在自動駕駛BEV感知方面投入了非常大的熱情，并誕生了一些列研究，推動了BEV方法的性能優(yōu)化和落地部署，那么端到端是否也能走一條類似的路線，由學術界引領，產(chǎn)業(yè)界跟隨從而推動端到端技術在產(chǎn)品上的快速迭代落地呢？我認為是比較難的。首先BEV感知還是一個相對模塊化的技術，更多是算法層面，且入門級性能對數(shù)據(jù)量的需求沒有那么高，高質量的學術開源數(shù)據(jù)集Nuscenes的推出為很多BEV研究提供了便利的前置條件，在Nuscenes上迭代的BEV感知方案雖然無法達到產(chǎn)品級性能要求，但是作為概念驗證和模型選型，是具有很大借鑒價值的。然而學術界缺乏大規(guī)模的端到端可用數(shù)據(jù)。目前最大規(guī)模的Nuplan數(shù)據(jù)集包含了4個城市1200小時的實車采集數(shù)據(jù)，然而在2023年的一次財報會議上，Musk表示對于端到端的自動駕駛“訓練了100萬個視頻case，勉強可以工作；200萬個，稍好一些；300萬個，就會感到Wow；到了1000萬個，它的表現(xiàn)就變得難以置信了”。Tesla的Autopilot回傳數(shù)據(jù)普遍認為是1min的片段，那么入門級別的100w視頻case大概就是16000小時，比最大的學術數(shù)據(jù)集至少多一個數(shù)量級以上，這里還是要注意nuplan是連續(xù)采集數(shù)據(jù)，因此在數(shù)據(jù)的分布和多樣性上有著致命的缺陷，絕大多數(shù)數(shù)據(jù)都是簡單場景，這也就意味著使用nuplan這樣的學術數(shù)據(jù)集甚至無法獲得一個能夠勉強上車的版本。

Nuplan數(shù)據(jù)集已經(jīng)是非常巨大規(guī)模的學術數(shù)據(jù)集，然而作為端到端方案的探索可能還遠遠不夠

于是我們看到包括UniAD在內(nèi)的絕大多數(shù)端到端自動駕駛方案都無法實車運行，而只能退而求其次進行開環(huán)評測。而開環(huán)評測指標的可靠度非常低，因為開環(huán)評測無法識別出模型混淆因果的問題，所以模型即使只學到了利用歷史路徑外插也能獲得非常好的開環(huán)指標，但這樣的模型是完全不可用的，2023年百度曾經(jīng)發(fā)表一篇叫做AD-MLP的Paper（https://arxiv.org/pdf/2305.10430）來討論開環(huán)規(guī)劃評測指標的不足，這篇Paper僅僅是用了歷史信息，而沒有引入任何感知，就獲得了非常不錯的開環(huán)評測指標，甚至接近一些目前的SOTA工作，然而顯而易見，沒有人能在閉上眼睛的情況下開好車！

AD MLP通過不依賴感知輸入取得不錯的開環(huán)指標來說明用開環(huán)指標作為參考實際意義不大

那么閉環(huán)方針驗證是否能夠解決開環(huán)模仿學習的問題呢？至少目前來講學術界普遍依賴的CARLA閉環(huán)仿真系統(tǒng)來進行端到端的研發(fā)，但是基于游戲引擎的CARLA獲得的模型也很難遷移到現(xiàn)實世界來。

疑惑四：端到端自動駕駛僅僅是一次算法革新？

最后端到端不僅僅是一個新的算法那么簡單。模塊化的自動駕駛系統(tǒng)不同模塊的模型可以使用各自任務的數(shù)據(jù)分別迭代訓練，然而端到端系統(tǒng)各個功能是同時進行訓練的，這就要求訓練數(shù)據(jù)具有極高的一致性，每條數(shù)據(jù)要對所有子任務標簽都進行標注，一旦一種任務標注失敗，那這條數(shù)據(jù)就很難在端到端訓練任務中使用了，這對于自動標注Pipeline的成功率和性能提出了極高的要求。其次端到端系統(tǒng)因為需要所有模塊都達到一個較高的性能水平才能在端到端的決策規(guī)劃輸出任務中達成較好的效果，因此普遍認為端到端系統(tǒng)數(shù)據(jù)門檻遠高于各個單個模塊的數(shù)據(jù)需求，而數(shù)據(jù)的門檻不僅是對絕對數(shù)量的要求，還對于數(shù)據(jù)的分布和多樣性要求極高，這就是得自己沒有車輛的完全控制權，不得不適配多個擁有不同車型客戶的供應商在開發(fā)端到端系統(tǒng)時候可能遇到較大的困難。在算力門檻上，Musk曾在今年三月初在http://X.com上表示目前FSD的最大限制因素是算力，而在最近馬老板則表示他們的算力問題得到了很大的環(huán)節(jié)，幾乎就在同一時間在2024年Q1財報會議上Tesla透露如今他們已經(jīng)擁有35000塊H100的計算資源，并透漏在2024年底這一數(shù)字將達到85000塊。毫無疑問Tesla擁有非常強大的算力工程優(yōu)化能力，這意味著要達到FSD V12目前的水平，大概率35000塊H100和數(shù)十億美金的基礎設施資本開銷是必要前提，如果在算力使用方面不如Tesla高效，那么可能這一門檻會被進一步拔高。

3月初馬斯克表示FSD的迭代主要限制因素是算力

4月初馬斯克表示今年Tesla在算力方面的總投入將超過100億美元

另外在http://X.com有網(wǎng)友分享了一張Nvidia汽車行業(yè)的高管Norm Marks在今年某次會議的截圖，從中可以看出截止到2023年底，Tesla所擁有的NV顯卡數(shù)量在柱狀圖上是完全爆表的存在（左圖最右側綠的箭頭，中間文字說明了這個排名第一的OEM所擁有的NV顯卡數(shù)量 > 7000個DGX節(jié)點，這個OEM顯然就是Tesla，每個節(jié)點按照8卡計算，23年底Tesla大概有A100顯卡超過56000卡，比排名第二的OEM多出四倍以上，這里我理解不包括2024年新購入的35000卡新款H100），再結合美國對出口中國顯卡的限制政策，想要趕超這一算力的難度變得更加困難。

Norm Marks在某次內(nèi)部分享截圖，來源X.com@ChrisZheng001

除了上述數(shù)據(jù)算力挑戰(zhàn)外，端到端的系統(tǒng)會遇到什么樣的新挑戰(zhàn)，如何保證系統(tǒng)的可控性，如何盡早發(fā)現(xiàn)問題，通過數(shù)據(jù)驅動的方式解決問題，并且在無法利用規(guī)則代碼的情況下快速迭代，目前對于絕大多數(shù)自動駕駛研發(fā)團隊而言都是一個未知的挑戰(zhàn)。

最后端到端對于現(xiàn)在的自動駕駛研發(fā)團隊還是一個組織變革，因為從L4自動駕駛以來，絕大多數(shù)自動駕駛團隊的組織架構是模塊化的，不僅分為感知組，預測組，定位組，規(guī)劃控制組，甚至感知組還分視覺感知，激光感知等等。而端到端的技術架構直接干掉了不同模塊間的接口壁壘，使得研發(fā)端到端的團隊需要整合全部人力資源來適應新的技術范式，這對不夠靈活的團隊組織文化是一個極大的挑戰(zhàn)。