本文經(jīng)自動(dòng)駕駛之心公眾號(hào)授權(quán)轉(zhuǎn)載，轉(zhuǎn)載請(qǐng)聯(lián)系出處。

1. 端到端落地的難點(diǎn)在哪？
2. 如果說(shuō)特斯拉和小鵬的優(yōu)勢(shì)在數(shù)據(jù)，那么wayve作為初創(chuàng)數(shù)據(jù)應(yīng)該是個(gè)門(mén)檻，但是它的端到端也些亮眼成果了？
3. 基于合成數(shù)據(jù)，3dgs，world model這類新技術(shù)有沒(méi)有可能讓端到端突破真實(shí)數(shù)據(jù)的枷鎖？
4. 端到端的技術(shù)路線會(huì)是什么方向？從感知，軌控 獨(dú)立模型演進(jìn)到端到端，是否比 從0直接上端到端模型 有技術(shù)優(yōu)勢(shì)和壁壘？

清華大學(xué)博士生&加州大學(xué)伯克利分校博士后 Kimi

1. 端到端的難點(diǎn)主要在于如何評(píng)價(jià)學(xué)出來(lái)的端到端系統(tǒng)，特別是他是否學(xué)出來(lái)了真正的開(kāi)車(chē)邏輯。這是因?yàn)檩敵鲕壽E是一個(gè)很簡(jiǎn)單的任務(wù)，即使你什么也沒(méi)學(xué)會(huì)，就輸出一條跟著前車(chē)的直線軌跡也大差不差。這跟感知任務(wù)還不太一樣，感知任務(wù)的難度還是比較高的。這就使得端到端系統(tǒng)，輸入圖像的話很容易學(xué)到一些shortcut，也就是他學(xué)到的邏輯其實(shí)是不對(duì)的。這也是為什么端到端系統(tǒng)中高質(zhì)量的數(shù)據(jù)是真正重要的，因?yàn)檫@樣的數(shù)據(jù)才蘊(yùn)含了真正的開(kāi)車(chē)邏輯。
2. 端到端數(shù)據(jù)只是一方面， 正如第1點(diǎn)提到的，更重要的是如果只告訴它一個(gè)真實(shí)軌跡真值，怎么才能讓這個(gè)系統(tǒng)從數(shù)據(jù)中學(xué)到真正的開(kāi)車(chē)邏輯，也就是為什么這個(gè)真值是對(duì)的，其他是錯(cuò)的。因此端到端的系統(tǒng)設(shè)計(jì)其實(shí)沒(méi)那么容易，而wayve很早之前就開(kāi)始探索端到端自動(dòng)駕駛，也一直有一些高質(zhì)量的工作，因此端到端做得好也不奇怪了。
3. 我認(rèn)為這個(gè)是非常有希望的一個(gè)方向，不僅僅是在訓(xùn)練階段，在測(cè)試階段其實(shí)更加重要。對(duì)于端到端系統(tǒng)的測(cè)試，很難像感知那樣直接通過(guò)GT來(lái)評(píng)判他的對(duì)錯(cuò)，而是要把他放在一個(gè)仿真系統(tǒng)里來(lái)進(jìn)行閉環(huán)測(cè)試。這就使得我們需要給端到端系統(tǒng)新視角的輸入，這個(gè)在數(shù)據(jù)集里大概率是沒(méi)有的，需要3dgs這樣的技術(shù)來(lái)實(shí)現(xiàn)。但是這個(gè)目前的技術(shù)距離真正實(shí)用還有一段距離，但我認(rèn)為這方面的技術(shù)突破是自動(dòng)駕駛的落地的一個(gè)核心。
4. 通過(guò)我上面說(shuō)的其實(shí)可以看出來(lái)，端到端模型的設(shè)計(jì)不是用一個(gè)神經(jīng)網(wǎng)絡(luò)來(lái)擬合真實(shí)軌跡這么簡(jiǎn)單的。除了從高質(zhì)量數(shù)據(jù)篩選這個(gè)角度來(lái)教模型有用的開(kāi)車(chē)邏輯，在感知、軌控方面的技術(shù)積累是很有幫助的。端到端系統(tǒng)的設(shè)計(jì)中，圖像和軌跡之間的這個(gè)場(chǎng)景表示是最核心的。我個(gè)人認(rèn)為occupancy是最接近終極場(chǎng)景表示的方式了，一方面因?yàn)閛cc對(duì)三維場(chǎng)景表達(dá)的全面性，另一方面也是因?yàn)樗梢允褂米员O(jiān)督被有效地學(xué)到，這也是我們后續(xù)課程會(huì)重點(diǎn)講的一部分。

端到端論文帶讀老師  資深算法工程師 Jason

非常贊同上述第4點(diǎn)。我認(rèn)為比較工程友好的路線是分模塊先實(shí)現(xiàn)端到端，比如規(guī)控模塊先用模型代替，感知模塊用一個(gè)統(tǒng)一的模型代替，后面再把兩個(gè)模塊拼接起來(lái)的形式。實(shí)際上規(guī)控的模型化難度是比較高的，一方面數(shù)據(jù)收集的困難，比如一些corner cases怎么收集，這里可能需要借助仿真或者world model來(lái)幫忙。此外規(guī)控模型的測(cè)試也是很難的。不像感知可以直接有幾個(gè)測(cè)集就可以，規(guī)控嚴(yán)格來(lái)說(shuō)需要去做閉環(huán)測(cè)試才能接近真實(shí)車(chē)端的表現(xiàn)，那么總不能發(fā)一版模型讓車(chē)去到處測(cè)吧，那樣可能測(cè)試一個(gè)模型比訓(xùn)一個(gè)模型的代價(jià)還大了。

軌跡預(yù)測(cè)課程老師 資深算法工程師 Thomas

端到端是從sensor到控制信號(hào)，比較大的優(yōu)勢(shì)1）是sensor的信息不會(huì)有損失吧，2）不會(huì)因?yàn)榍凹?jí)模型的誤差導(dǎo)致級(jí)聯(lián)誤差。

傳統(tǒng)的技術(shù)路線相當(dāng)于把端到端抽象成一個(gè)個(gè)人工定義的顯示子任務(wù)，每個(gè)任務(wù)有明確定義和相對(duì)高的可解釋性。

目前來(lái)看，端到端的方法還有提升的空間吧，它并沒(méi)有體現(xiàn)出比傳統(tǒng)方法更好的可解釋性穩(wěn)定性可靠性安全性。比如一個(gè)case接管了，我們并不知道是端到端的模型的哪個(gè)模塊出問(wèn)題了比較難針對(duì)性地去解這個(gè)case，但對(duì)于傳統(tǒng)Pipeline 我可以定位到是感知預(yù)測(cè)還是歸控出了問(wèn)題，所以我感覺(jué)端到端達(dá)到百分百的安全性的難度可能會(huì)更大。

端到端還有一個(gè)難點(diǎn)是優(yōu)質(zhì)數(shù)據(jù)的搭建和收集，需要標(biāo)注大量有駕駛行為的視頻和控制行為。但是當(dāng)數(shù)據(jù)量達(dá)到一定的level, 基于scaling law, 我還是比較看好端到端或者/ world model會(huì)給我們帶來(lái)驚艷的表現(xiàn)

頭部大廠算法專家 Dylan

1. 難點(diǎn)是根本沒(méi)有可以閉環(huán)的模型，只有各種公司和公眾號(hào)在亂吹，pnc是個(gè)系統(tǒng)不是個(gè)簡(jiǎn)單模型搞定的，一步一步走才是硬道理，第一步不如想想ML和AI怎么幫助現(xiàn)有的pnc而不是一口吃成胖子
2. 數(shù)據(jù)量不是優(yōu)勢(shì)，有效數(shù)據(jù)才是，wayve有后發(fā)優(yōu)勢(shì)，可能有更完善高效挖掘和收集有效數(shù)據(jù)方法
3. 從業(yè)務(wù)角度看，個(gè)人短期（2-3年）看不到生成特別重要的用處。端到端可能也沒(méi)到那個(gè)階段，先理清楚端到端怎么用到現(xiàn)有的自駕框架怎么用更重要。
4. 學(xué)術(shù)和業(yè)務(wù)發(fā)展應(yīng)該是分開(kāi)的。學(xué)術(shù)可以考慮更遠(yuǎn)的可能性，考慮各種思路，業(yè)務(wù)需要一步一步來(lái)（當(dāng)然人力財(cái)力足夠可以多方案同步嘗試）。另外感覺(jué)當(dāng)前端到端模型沒(méi)啥壁壘，近期發(fā)的那幾篇論文比再早期的也沒(méi)啥真的新東西，借了純視覺(jué)bev的東風(fēng)吧。

NeRF與自動(dòng)駕駛知名博主：意茗

針對(duì)問(wèn)題3，當(dāng)前3DGS或者NeRF這類合成數(shù)據(jù)的方法，暫時(shí)不能讓端到端突破真實(shí)數(shù)據(jù)的枷鎖，但未來(lái)可期。當(dāng)前合成數(shù)據(jù)做的事情是

1. 采集數(shù)據(jù)的倍增，比如提升傳感器高度在重建好的模型中做渲染，來(lái)模擬不同高度車(chē)型的采集數(shù)據(jù)；
2. 有限的閉環(huán)仿真，比如自車(chē)車(chē)道變化引起的相機(jī)和雷達(dá)傳感器渲染數(shù)據(jù)變化。

但這些功能還遠(yuǎn)未達(dá)到能夠突破真實(shí)數(shù)據(jù)的枷鎖，枷鎖在于天氣模擬、動(dòng)態(tài)前景和corner case。對(duì)于天氣模擬，當(dāng)前逐漸取代NeRF的3DGS方法天生沒(méi)法重建環(huán)境光照，很難去做光線條件或者天氣的更改，即便有carla之類的工具也沒(méi)法作用到GS模型中未解耦的反光、表面和材質(zhì)；對(duì)于動(dòng)態(tài)前景，3DGS或者NeRF作為靜態(tài)重建方法，自然是不支持動(dòng)態(tài)的重建，因此需向重建和渲染pipeline中引入大量或許不適配3DGS/NeRF特性的動(dòng)態(tài)重建工具，很難，也未必是動(dòng)態(tài)重建的最優(yōu)解；對(duì)于corner case的數(shù)據(jù)合成，可以做到一部分，但是真實(shí)生活中的corner case的數(shù)量和類型遠(yuǎn)超開(kāi)發(fā)者想象，只期望生成模型有一天能夠補(bǔ)足這一部分，讓合成數(shù)據(jù)的過(guò)程更方便簡(jiǎn)單，結(jié)果更真實(shí)可用。

上海AI LAB 資深研究員 DOMIN

個(gè)人理解現(xiàn)在的仿真主要還是偏規(guī)控，像carla這種三維建模場(chǎng)景加上比較簡(jiǎn)單的隨機(jī)交通流，有些算法就有不小domain gap，做不了端到端。我們團(tuán)隊(duì)也做過(guò)，我們發(fā)現(xiàn)其實(shí)是需要大量實(shí)車(chē)動(dòng)力學(xué)數(shù)據(jù)以及carsim數(shù)據(jù)去訓(xùn)模型，也就是說(shuō)模型能力上限其實(shí)是carsim。我理解端到端是要做closed loop的，喂感知數(shù)據(jù)很難去完整評(píng)價(jià)，更難讓模型自己去不斷迭代

新加坡南洋理工大學(xué)博士生 加州大學(xué)伯克利分校訪問(wèn)學(xué)者 黃志宇

1. 端到端實(shí)施的主要難點(diǎn)何在？

自動(dòng)駕駛系統(tǒng)或產(chǎn)品的首要目標(biāo)是確保安全。端到端實(shí)施面臨的最大挑戰(zhàn)是如何確保系統(tǒng)的安全性，能否完全信賴模型輸出的決策和規(guī)劃，以及這些決策是否能與人類的價(jià)值觀和期望相符。

2. 關(guān)于Tesla和Xpeng在數(shù)據(jù)方面的優(yōu)勢(shì)，Wayve作為初創(chuàng)公司是如何應(yīng)對(duì)的？

盡管Wayve是一家初創(chuàng)公司，但它已在倫敦進(jìn)行了早期的數(shù)據(jù)收集，并開(kāi)展了端到端模型的訓(xùn)練，成為該領(lǐng)域的先行者之一。未來(lái)，Wayve可能會(huì)探索與歐洲的OEM廠商合作，部署其開(kāi)發(fā)的系統(tǒng)。

3. 利用合成數(shù)據(jù)、3DGS、World Model等新技術(shù)，端到端能否突破真實(shí)數(shù)據(jù)的限制？

我認(rèn)為3DGS和World Model主要是作為測(cè)試和仿真工具而不是訓(xùn)練工具。由于機(jī)器學(xué)習(xí)的方法依賴于訓(xùn)練數(shù)據(jù)的分布，僅用合成數(shù)據(jù)難以顯著增加數(shù)據(jù)多樣性或提升模型性能。因此，關(guān)鍵還是要在真實(shí)世界中持續(xù)收集新的多樣化數(shù)據(jù)。不過(guò)，將這些技術(shù)用作測(cè)試駕駛系統(tǒng)確實(shí)是一個(gè)有前途的方向。此外，World Model的概念相當(dāng)廣泛，并不局限于特定方法，可以作為端到端系統(tǒng)中一個(gè)關(guān)鍵的模塊，既可用于決策也可用于系統(tǒng)測(cè)試。

4. 端到端技術(shù)的發(fā)展方向?qū)⑷绾窝葸M(jìn)？

我認(rèn)為感知任務(wù)的目標(biāo)應(yīng)是盡可能準(zhǔn)確地提供周?chē)h(huán)境的關(guān)鍵信息至決策模塊。即便擁有了完美的感知信息，如何設(shè)計(jì)出高效的人性化決策模塊依然是一個(gè)挑戰(zhàn)。端到端系統(tǒng)旨在為決策模塊提供盡可能多的感知信息，通過(guò)高維潛在信息替代人工定義和處理的物理信息，以優(yōu)化交互和決策過(guò)程。近期，學(xué)術(shù)界在基于學(xué)習(xí)的規(guī)劃上已取得進(jìn)展，這也推動(dòng)了端到端技術(shù)的廣泛關(guān)注和應(yīng)用?？偟膩?lái)說(shuō)，應(yīng)當(dāng)首先開(kāi)發(fā)高效的AI決策模型，待其能力成熟后，再向全面的端到端系統(tǒng)演進(jìn)，確保決策能力的優(yōu)先發(fā)展

多傳感器融合與多目標(biāo)跟蹤全棧老師 感知算法專家 Edison

1. 一方面，端到端模型會(huì)遠(yuǎn)比現(xiàn)有的檢測(cè)、分割、預(yù)測(cè)、規(guī)劃小模型要復(fù)雜，甚至完全是另一種范式，現(xiàn)在來(lái)看這種模型的框架還沒(méi)有完全探索出來(lái)；另一方面， 由于模型的復(fù)雜性，人類工程師更難理解它工作的機(jī)制，當(dāng)模型在corner case上表現(xiàn)差時(shí)，僅僅增加數(shù)據(jù)可能無(wú)法提升模型性能。
2. 對(duì)于Wayve了解不多，但是很多人對(duì)數(shù)據(jù)的理解比較簡(jiǎn)單，一般來(lái)說(shuō)，即使原始數(shù)據(jù)量很大，其中蘊(yùn)含的有效的高質(zhì)量數(shù)據(jù)卻很少。如果缺乏高效合理的數(shù)據(jù)工程能力，絕大部分?jǐn)?shù)據(jù)都無(wú)法用來(lái)提升模型能力。小公司能把數(shù)據(jù)Pipeline做好的話，在數(shù)據(jù)上或許也會(huì)很有優(yōu)勢(shì)，和公司體量無(wú)關(guān)，和原始數(shù)據(jù)量大小也無(wú)關(guān)。
3. 我認(rèn)為真正的未來(lái)的端到端模型和分模塊小模型是兩種不同的技術(shù)范式，不斷提升感知、預(yù)測(cè)、規(guī)劃的AI成分，使其不斷接近100%可微網(wǎng)絡(luò)，可能無(wú)法達(dá)到真正的端到端可學(xué)習(xí)自動(dòng)駕駛大模型。但是從公司角度來(lái)說(shuō)，在這個(gè)過(guò)程中會(huì)積累出對(duì)自動(dòng)駕駛技術(shù)有深刻理解的工程師和技術(shù)團(tuán)隊(duì)，這批人在工程實(shí)踐中的自我迭代，會(huì)逐漸超越既有技術(shù)范式，探索出真正的端到端大模型。

Waymo研究員：自動(dòng)駕駛方向算法專家，jerry

1. 端到端落地的難點(diǎn)在哪？

數(shù)據(jù)/云端算力/車(chē)端算力/組織架構(gòu)/infra效率/評(píng)測(cè)體系

2. 如果說(shuō)特斯拉和小鵬的優(yōu)勢(shì)在數(shù)據(jù)，那么wayve作為初創(chuàng)數(shù)據(jù)應(yīng)該是個(gè)門(mén)檻，但是它的端到端也些亮眼成果了？

小鵬在新宙離開(kāi)之后，已經(jīng)是另一個(gè)公司。數(shù)據(jù)總量 不等于 數(shù)據(jù)能力 wayve科研工作很好，e2e具體落地的穩(wěn)定性有待觀察。

e2e對(duì)整個(gè)自動(dòng)駕駛管線的影響系統(tǒng)性的，數(shù)據(jù)總量很關(guān)鍵，但并不是唯一因素。并不排除有些新公司，在有限數(shù)據(jù)的情況下能把e2e做好。

3. 基于合成數(shù)據(jù)，3dgs，world model這類新技術(shù)有沒(méi)有可能讓端到端突破真實(shí)數(shù)據(jù)的枷鎖？

對(duì)于合成數(shù)據(jù)在業(yè)務(wù)中如何使用，是個(gè)目前沒(méi)有共識(shí)的方向?？雌饋?lái)評(píng)測(cè)會(huì)比訓(xùn)練先用起來(lái)。

用大量的數(shù)據(jù)去訓(xùn)練合成數(shù)據(jù)生成，再用這些數(shù)據(jù)訓(xùn)練。未必比直接訓(xùn)練自監(jiān)督的模型效果更好。需要等待更多的研究。

4. 端到端的技術(shù)路線會(huì)是什么方向？從感知，軌控 獨(dú)立模型演進(jìn)到端到端，是否比 從0直接上端到端模型 有技術(shù)優(yōu)勢(shì)和壁壘？

會(huì)是多個(gè)方向并行。很多時(shí)候并不存在唯一解。甚至端到端都不一定是唯一解。

但就具體到e2e這個(gè)方向。長(zhǎng)期看來(lái)，模塊化的端到端和現(xiàn)有自駕體系更匹配，類似UniAD等方案。一體化的e2e方案，LLM-based 或者diffusion-based 由或者 VFM+LLM的二階段方案，在車(chē)端算力冗余的前提下，很可能經(jīng)歷多個(gè)方向并行在市場(chǎng)中競(jìng)爭(zhēng)，最終收斂到某些固定的格局。各自面臨的技術(shù)挑戰(zhàn)不一樣，都有壁壘。最終市場(chǎng)上存在，應(yīng)該都是針對(duì)各自的優(yōu)勢(shì)進(jìn)行不同程度的trade-oof

感知算法專家 星球嘉賓 LEO

1. （1） 算力 (2) 如何保證正確性和安全性 （3）模型收斂
2. 我想，我們應(yīng)該意識(shí)到的是，端到端技術(shù)的出現(xiàn)，就是為了打破 標(biāo)注數(shù)據(jù) 瓶頸。希望通過(guò)更簡(jiǎn)單的監(jiān)督信息，來(lái)實(shí)現(xiàn)更有效的駕駛行為決策。

傳統(tǒng)意義上的標(biāo)注數(shù)據(jù)（bbox， segmentation ）由于人工標(biāo)注環(huán)節(jié)的存在，始終無(wú)法進(jìn)一步跨越規(guī)模瓶頸。而端到端的任務(wù)下，期待的是更廉價(jià)和高效的數(shù)據(jù)獲取，更弱的監(jiān)督，更大規(guī)模的模型，scale up 來(lái)實(shí)現(xiàn)“智能涌現(xiàn)”。從這個(gè)角度看，傳統(tǒng)意義上的數(shù)據(jù)閉環(huán)，數(shù)據(jù)積累，不一定有跨越性的優(yōu)勢(shì)。

3. 先問(wèn)是不是，“數(shù)據(jù)是不是端到端任務(wù)的枷鎖”？我認(rèn)為目前而言，端到端任務(wù)的設(shè)計(jì)可能還不夠清晰，正如王乃巖博士（聊一聊端到端）的那篇文章提到 “我認(rèn)為端到端的本質(zhì)應(yīng)當(dāng)是感知信息的無(wú)損傳遞?！?因此，我認(rèn)為端到端在方法上尚未到達(dá)終局。

而我們是否需要合成數(shù)據(jù)來(lái)實(shí)現(xiàn)端到端，我傾向于認(rèn)為這是一個(gè)成本收益問(wèn)題，當(dāng)任務(wù)設(shè)計(jì)清晰明確后，在未來(lái)，哪種數(shù)據(jù)獲取方式更簡(jiǎn)單更廉價(jià)，哪種就會(huì)被應(yīng)用。

4. 端到端的技術(shù)路線會(huì)是什么方向？從感知，軌控 獨(dú)立模型演進(jìn)到端到端，是否比 從0直接上端到端模型 有技術(shù)優(yōu)勢(shì)和壁壘？

先上一下乃巖大佬的文章引用：

“我們還應(yīng)該從本質(zhì)上思考一下，端到端的本質(zhì)是什么？我認(rèn)為端到端的本質(zhì)應(yīng)當(dāng)是感知信息的無(wú)損傳遞。我們先回想一下在非端到端系統(tǒng)中，感知和PnC模塊的接口是什么樣子的。一般我們會(huì)有針對(duì)白名單物體（車(chē)，人，etc）的檢測(cè)/屬性分析/預(yù)測(cè)，會(huì)有對(duì)靜態(tài)環(huán)境的理解（道路結(jié)構(gòu)/限速/紅綠燈，etc），如果做的更細(xì)致一些的話，還會(huì)做通用障礙物的一些檢測(cè)工作。從宏觀的角度來(lái)講，感知輸出的這些信息，都是對(duì)復(fù)雜駕駛場(chǎng)景的一種抽象，而且是人工定義的顯式抽象。然而，對(duì)于一些非常見(jiàn)場(chǎng)景中，現(xiàn)在的顯式抽象難以充分表達(dá)場(chǎng)景中會(huì)影響駕駛行為的因素，亦或是我們需要定義的任務(wù)過(guò)多過(guò)瑣碎，也難以枚舉盡所有需要的任務(wù)。所以端到端系統(tǒng)，提供了一種（也許是隱式）全面表示，希望能夠自動(dòng)地?zé)o損地將這樣的信息作用于PnC。我認(rèn)為，所有能滿足這樣的系統(tǒng)，都可以叫做廣義端到端?！?/p>

模塊化的任務(wù)設(shè)計(jì)方式更像是一種妥協(xié)，用人類容易理解和保證安全性的方式來(lái)解決自動(dòng)駕駛問(wèn)題，當(dāng)然，我們遇到了一些瓶頸。而這些瓶頸是否可以被端到端解決？這很難講。

我更傾向于認(rèn)為，這可能是兩種并行的技術(shù)路線。在未來(lái)長(zhǎng)期一段時(shí)間內(nèi)可能會(huì)同時(shí)存在。

我相信很多自動(dòng)駕駛公司盡管談端到端，但仍然會(huì)有模塊化的設(shè)計(jì)在背后兜底。

從這個(gè)角度講，我認(rèn)為從傳統(tǒng)模塊化再到端到端，比從 0 直接到端到端的廠家更有優(yōu)勢(shì)。他們對(duì)自動(dòng)駕駛?cè)蝿?wù)，系統(tǒng)設(shè)計(jì)難點(diǎn)，相對(duì)有更清晰的認(rèn)識(shí)。

數(shù)據(jù)閉環(huán)方向資深工程師 神秘網(wǎng)友小邱

1. 我們不需要做端到端落地，所以可能有失偏頗，望拋磚引玉，個(gè)人認(rèn)為e2e的最大問(wèn)題是可解釋性問(wèn)題，從sensor直接到plan中間空間太大了，不知道問(wèn)題出在哪里，而且每一次版本迭代可能都要做復(fù)雜的測(cè)試，需要保證測(cè)試數(shù)據(jù)的多樣性和覆蓋性，還要保證不會(huì)過(guò)擬合，仍然擁有良好的泛化能力，第二是難做閉環(huán)，駕駛可能存在多種合理的駕駛選擇，而且駕駛場(chǎng)景存在博弈，雖然有waymax這樣的multi-agent simulator工具或gaia-1這樣的工作，但是仍然有局限性
2. wayve數(shù)據(jù)說(shuō)不上多，但也不是很少，gaia-1的時(shí)候就有4,700小時(shí)的數(shù)據(jù)，他們能夠通過(guò)gaia-1合成數(shù)據(jù)或驗(yàn)證e2e的能力，同時(shí)他們做了很多Self-Supervised的工作，這樣對(duì)"已標(biāo)注數(shù)據(jù)"的需求量就更少了
3. 個(gè)人認(rèn)為合成數(shù)據(jù)最大的使用場(chǎng)景在找到bad case / corner case和失衡數(shù)據(jù)，通過(guò)仿真環(huán)境去生成補(bǔ)集，幫助模型更魯棒，但是合成數(shù)據(jù)也有局限性，我認(rèn)為顧險(xiǎn)峰老師對(duì)Sora的評(píng)價(jià)用在這個(gè)問(wèn)題也合適：模型忽略了物理過(guò)程中最為關(guān)鍵的臨界（災(zāi)變）態(tài)，一方面因?yàn)榕R界態(tài)樣本的稀缺，另一方面因?yàn)閿U(kuò)散模型將穩(wěn)恒態(tài)數(shù)據(jù)流形的邊界模糊化，消弭了臨界態(tài)的存在，生成的視頻出現(xiàn)了不同穩(wěn)恒態(tài)之間的跳躍。而基于幾何方法的最優(yōu)傳輸理論框架，可以精確檢測(cè)到穩(wěn)恒態(tài)數(shù)據(jù)流形的邊界，從而強(qiáng)調(diào)了臨界態(tài)事件的生成，避免了不同穩(wěn)恒態(tài)之間的橫跳，更加接近物理的真實(shí)。

Gao

1. 難點(diǎn)除了可解釋性，似乎E2E也比較考驗(yàn)公司的工程能力和數(shù)據(jù)閉環(huán)能力。目前很多模型還是基于模仿學(xué)習(xí)的，一些重要但不常見(jiàn)的場(chǎng)景，很難采集，而且數(shù)據(jù)均衡也不好搞。
2. wayve好像是引入了一些強(qiáng)化學(xué)習(xí)的策略，似乎有效果，這個(gè)是前幾天聽(tīng)分享聽(tīng)到的，具體的還沒(méi)看。
3. 從之前做感知的經(jīng)驗(yàn)，會(huì)有幫助，但是真實(shí)數(shù)據(jù)還是不能丟，但是生成數(shù)據(jù)的占比可能會(huì)逐漸提升比例。此外，基于真實(shí)數(shù)據(jù)采集的離線標(biāo)注，也可以大幅度降低標(biāo)注成本。
4. 有數(shù)據(jù)、各模塊技術(shù)儲(chǔ)備充足的公司、團(tuán)隊(duì)，可以直接搞，但是其他團(tuán)隊(duì)可能還是分段搞積累數(shù)據(jù)和經(jīng)驗(yàn)，以及驗(yàn)證數(shù)據(jù)閉環(huán)能力和工程能力之后搞更靠譜些。

再補(bǔ)充一點(diǎn)，就是閉環(huán)指標(biāo)，也需要在模塊化階段摸索。目前的公開(kāi)指標(biāo)可能還是太學(xué)術(shù)了，難以評(píng)價(jià)所謂的駕駛水平，需要開(kāi)發(fā)和磨合額外的指標(biāo)

NeRF/3DGS重建 專家

1. 難點(diǎn)在數(shù)據(jù)。
2. Wayve 的 gaia 解決了數(shù)據(jù)，而且可以按需產(chǎn)生稀缺的corner cases 數(shù)據(jù)。
3. 取決于怎么串聯(lián)端到端模型。
4. UniAD based 的端到端更靠譜，更適合工業(yè)界

仿真專家 JamesZhang

對(duì)于問(wèn)題3：我的感覺(jué)是，現(xiàn)在這類技術(shù)還仍然處于“似是而非”的狀態(tài)，數(shù)據(jù)的確定性也許還不夠高吧

端到端論文帶讀群學(xué)員討論

CH：

1. 難點(diǎn)在于可解釋性-因果關(guān)系，噪音處理和控制安全。
2. 針對(duì)問(wèn)題3：有可能，但目前來(lái)看有限。仿真能補(bǔ)充數(shù)據(jù)，但總歸和實(shí)際有偏差，標(biāo)注數(shù)據(jù)不可替代。
3. 針對(duì)問(wèn)題4：分段模型逐步可控可驗(yàn)證，直接端到端，即便像 driverAdapter 這樣的分層監(jiān)督也需要包一層rule based安全層。