以下內(nèi)容為百度智能駕駛事業(yè)群組技術(shù)委員會(huì)2020年底發(fā)布的內(nèi)容，原標(biāo)題《Apollo Lite兩周年：純視覺L4級(jí)無人駕駛技術(shù)挑戰(zhàn)復(fù)雜城市場(chǎng)景》。我們拿出這篇一年前的文章，目的是讓大家更了解百度自動(dòng)駕駛技術(shù)的主要思想，同時(shí)與今年的進(jìn)展做一個(gè)比較，會(huì)發(fā)現(xiàn)，Apollo從技術(shù)看上并沒有變化，只是按照既定的規(guī)劃推進(jìn)各方面的落地，諸如威馬W6量產(chǎn)應(yīng)用AVP、robotaxi正式商業(yè)化運(yùn)行等。

以下為原文全部內(nèi)容：

編者按：

百度背叛激光雷達(dá)路線了嗎？2019年夏的CVPR，純視覺方案Apollo Lite第一次亮相開始，這種猜疑就沒停過。一年后，自動(dòng)駕駛江湖中的兩條路，愈加清晰分明。

一方面，自動(dòng)駕駛公司紛紛增加車端激光雷達(dá)數(shù)量，提升雷達(dá)掃描密度，傳感器“軍備競賽”趨勢(shì)延續(xù)。另一方面，車企基于純視覺方案的“全自動(dòng)”駕駛功能交付無期。

而百度Apollo Lite，成為了國內(nèi)唯一純視覺L4級(jí)城市道路自動(dòng)駕駛解決方案。并且Apollo Lite還以自主泊車產(chǎn)品AVP和領(lǐng)航輔助駕駛產(chǎn)品ANP，實(shí)現(xiàn)了L4能力的降維商用。

這條純視覺路線背后，百度Apollo究竟有何邏輯？技術(shù)和產(chǎn)品上有哪些不為人知的考量？未來又如何落地發(fā)展？

在Apollo Lite誕生兩周年之際，沒有人比百度Apollo技術(shù)委員會(huì)自身，更適合揭秘了。我們邀請(qǐng)他們以第一親歷者身份，完整講訴Apollo Lite相關(guān)的一切。

01 為什么是視覺方案？

2019年美國長灘，面對(duì)臺(tái)下聽眾關(guān)于Apollo Lite誕生是否意味著百度將放棄其現(xiàn)有激光雷達(dá)技術(shù)方案的提問，Apollo技術(shù)委員會(huì)主席王亮表達(dá)了百度的技術(shù)主張：“在L4級(jí)自動(dòng)駕駛傳感器選型上，激光雷達(dá)和攝像頭不是排它的，也不是單純的從屬或互補(bǔ)關(guān)系，從安全性考慮，二者具備相同的重要性和不可替代性，缺一不可。”

談?wù)摷円曈X方案，一個(gè)繞不過去的話題是自動(dòng)駕駛領(lǐng)域長期存在的路線之爭，一方是以Waymo為代表的Robotaxi陣營，選擇用相對(duì)昂貴的旋轉(zhuǎn)式激光雷達(dá)輔以多路攝像頭和毫米波雷達(dá)直接落地L4級(jí)自動(dòng)駕駛。

另一邊是以Tesla為代表的漸進(jìn)式陣營，志在依托海量數(shù)據(jù)和深度學(xué)習(xí)從輔助駕駛起步跨越無人鴻溝，其商業(yè)模式?jīng)Q定了純視覺方案是兼顧駕駛體驗(yàn)和成本的產(chǎn)品最優(yōu)解。

一年后，百度的技術(shù)主張發(fā)生變化了嗎？長跑途中，百度將如何站隊(duì)又選擇了什么技術(shù)路線呢？

針對(duì)技術(shù)路線問題，王亮給出了百度的思考：無人駕駛的規(guī)?；涞厥且淮伍L征，除有篤定的信念支撐，更要基于正確的路線才能到達(dá)目的地。

何謂“正確”？百度眼中，路線設(shè)定既不是權(quán)衡利弊后的選擇站隊(duì)，也不是簡單一句“各取所長，避之所短”，百度尋求的是一條符合國情同時(shí)也最適合百度的技術(shù)路線。

[[442832]]

Robotaxi商業(yè)模式驗(yàn)證途中最大的技術(shù)挑戰(zhàn)是 「無人」（去掉安全員），過程中要平衡的兩個(gè)關(guān)鍵因素是“能力”和“規(guī)模”，二者相輔相成，不具備過硬的駕駛能力無法在擴(kuò)展規(guī)模同時(shí)保證安全，反之規(guī)模跟不上，駕駛系統(tǒng)無法獲得充分驗(yàn)證。

百度內(nèi)部牽引研發(fā)的兩大核心指標(biāo)是「安全」和「成本」，安全保障結(jié)合有競爭力的成本能夠助力百度盡早跨入規(guī)模化運(yùn)營階段，逐步實(shí)現(xiàn)拿掉安全員的終局目標(biāo)。

為何在激光雷達(dá)技術(shù)方案進(jìn)展順利的同時(shí)轉(zhuǎn)向發(fā)力純視覺技術(shù)？背后的邏輯，與百度的實(shí)踐經(jīng)驗(yàn)和技術(shù)主張密不可分。

激光雷達(dá) – 擁抱生態(tài)

年初Waymo推出其第五代自動(dòng)駕駛傳感器套件，包括對(duì)其自研激光雷達(dá)的全方位升級(jí)。大洋彼岸的Cruise、Argo、Aurora等頭部公司也通過「收購+自研」布局未來的激光雷達(dá)產(chǎn)品。

而百度選擇了一種「不一樣」的路線，王亮表示：“Apollo從第一天起就明確走開放道路，百度選擇聚焦自己擅長的事情，我們充分信任合作伙伴的設(shè)計(jì)制造能力和創(chuàng)新速度，用開放共贏的心態(tài)擁抱生態(tài)。

與全自研或借收購押注某類原型產(chǎn)品相比，我們相信擁有大規(guī)模用戶和成熟供應(yīng)鏈體系的生態(tài)合作伙伴必將迭代出性價(jià)比更優(yōu)的產(chǎn)品，百度愿意在攀峰途中與合作伙伴緊密配合共同成長。

選擇自由 – 拿到視覺船票

激光雷達(dá)市場(chǎng)百花齊放，誰家能跑贏Robotaxi商業(yè)化階段的規(guī)?；慨a(chǎn)尚不清晰，缺少自研抓手又如何緊隨行業(yè)趨勢(shì)適配前沿雷達(dá)產(chǎn)品呢？面對(duì)不確定性，百度也有自己的思考和應(yīng)對(duì)。

“在我們的技術(shù)規(guī)劃中，未來百度在激光雷達(dá)的選擇上要更從容。重度依賴激光雷達(dá)的感知系統(tǒng)面臨的問題之一便是雷達(dá)技術(shù)的更新?lián)Q代。當(dāng)今基于三維點(diǎn)云的環(huán)境感知算法已全面擁抱Learning化和數(shù)據(jù)驅(qū)動(dòng)，感知效果飛速提升同時(shí)對(duì)標(biāo)注數(shù)據(jù)的累積也更加倚重，不輕易更換雷達(dá)的顧慮，部分來自傳感器數(shù)據(jù)變更后給現(xiàn)有感知模型的復(fù)用和泛化帶來的挑戰(zhàn)，前期構(gòu)筑的數(shù)據(jù)壁壘優(yōu)勢(shì)也難以保持。相比成像原理和時(shí)空采樣密度各異的激光雷達(dá)，視覺成像技術(shù)的發(fā)展趨勢(shì)清晰，視覺感知在數(shù)據(jù)標(biāo)注、數(shù)據(jù)復(fù)用和模型泛化技術(shù)上都更加成熟可控。”

百度對(duì)視覺技術(shù)的布局意圖清晰，通過壓強(qiáng)視覺技術(shù)研發(fā)獲得純視覺L4級(jí)閉環(huán)能力意味著拿到了一張船票，讓百度在激烈的自動(dòng)駕駛技術(shù)競爭中保持成本和數(shù)據(jù)優(yōu)勢(shì)，對(duì)激光雷達(dá)的選擇更敏捷自由。

冗余 – 做正確的事

使用單傳感器解決復(fù)雜的環(huán)境感知問題總會(huì)遇到短期無法跨越的深溝固壘，對(duì)「傳感器融合」五字的理解實(shí)踐，業(yè)內(nèi)也不盡相同。

起跑階段，百度和大多數(shù)同行今天的做法類似，面對(duì)困難選擇做容易的事情，從快速解決問題的目標(biāo)出發(fā)設(shè)計(jì)融合策略，難免避重就輕地利用異構(gòu)傳感器各自的優(yōu)勢(shì)進(jìn)行取長補(bǔ)短，快速收斂問題背后的代價(jià)是系統(tǒng)實(shí)現(xiàn)維護(hù)難度的增加和對(duì)安全問題自身可解釋性的忽視，長此以往，借助疊加厚重策略和參數(shù)假設(shè)解決長尾問題的路徑步履維艱。

在追求自動(dòng)駕駛安全的實(shí)踐中百度對(duì)傳感器融合的認(rèn)知也在發(fā)生變化，概率上保證感知結(jié)果的可解釋性和完備性意味著多套能夠支撐自動(dòng)駕駛的感知系統(tǒng)獨(dú)立工作相互校驗(yàn)，融合端減少策略深度耦合引入的數(shù)據(jù)依賴與人為假設(shè)。

大道至簡的思想背后，傳感器間的「主次」概念逐漸淡化，新理念也對(duì)單傳感器感知能力提出了更高要求。對(duì)于視覺感知，對(duì)其作用的定位不再局限于為激光雷達(dá)查漏補(bǔ)缺或者解決某些子任務(wù)，轉(zhuǎn)而追求獨(dú)當(dāng)一面的全棧能力。

(完整視頻詳見公眾號(hào)）

02 Apollo Lite兩周年畫像

2019年初Apollo Lite啟動(dòng)了在北京稻香湖路網(wǎng)內(nèi)的開放道路測(cè)試，經(jīng)過長期實(shí)測(cè)，對(duì)稻香湖道路環(huán)境駕輕就熟的Apollo Lite選擇挑戰(zhàn)更復(fù)雜的城市道路場(chǎng)景，將2020年的測(cè)試區(qū)域選在了北京亦莊。

亦莊測(cè)試區(qū)是當(dāng)前國內(nèi)開放的最大規(guī)模的L4級(jí)別自動(dòng)駕駛路網(wǎng)，覆蓋了復(fù)雜城市道路多種典型場(chǎng)景，包含工業(yè)區(qū)、生活區(qū)、商超等多種城市功能區(qū)域，道路場(chǎng)景涵蓋快速路，主干路，次干路、支路和輕軌鐵路等，路網(wǎng)里程322公里，涵蓋110多條道路。

對(duì)比稻香湖測(cè)試區(qū)域，亦莊道路覆蓋里程提升近20倍，站點(diǎn)數(shù)量提升50倍，機(jī)動(dòng)車和人流平均密度提升2倍。

經(jīng)過近一年的技術(shù)迭代，Apollo視覺感知能力穩(wěn)步提升，如今兩周歲的Apollo Lite具備了僅使用10顆攝像頭應(yīng)對(duì)中國復(fù)雜城市道路環(huán)境的自動(dòng)駕駛能力。

與一年前相比，純視覺配置的測(cè)試車輛規(guī)模提升3倍，累計(jì)L4閉環(huán)測(cè)試?yán)锍淘黾?8倍，平均送達(dá)（無人為干預(yù)的點(diǎn)到點(diǎn)自動(dòng)駕駛）成功率提升60%。

純視覺感知方案有多難？

自動(dòng)駕駛系統(tǒng)涉及的眾多軟硬件中，傳感器決定了環(huán)境建模的方法和效果，對(duì)駕駛能力有直接的影響。近年來各家自動(dòng)駕駛公司持續(xù)刷新無人車上路速度和演示難度，他們均采用高線數(shù)機(jī)械旋轉(zhuǎn)式激光雷達(dá)充當(dāng)無人車的眼睛，與之相比，打造一套純視覺方案的難度有多高，技術(shù)含金量如何體現(xiàn)？

無人駕駛的大腦 – 車輛軌跡速度的決策規(guī)劃計(jì)算離不開感知模塊實(shí)時(shí)構(gòu)建的三維環(huán)境，對(duì)障礙物位置、尺寸、速度和朝向等屬性的準(zhǔn)確性、時(shí)空穩(wěn)定性都有極高的要求。激光雷達(dá)作為「主動(dòng)」成像（Active sensing）傳感器，與攝像頭相比最大的優(yōu)勢(shì)在于其強(qiáng)大的三維測(cè)距能力，通過飛行時(shí)間（Time-of-Flight）原理能夠在100毫秒內(nèi)完成對(duì)其周邊360°環(huán)境的實(shí)時(shí)建模，測(cè)距精度達(dá)厘米級(jí)。精準(zhǔn)的三維信息為物體檢測(cè)、跟蹤、分類等任務(wù)帶來了便利，大幅度簡化了感知算法的設(shè)計(jì)實(shí)現(xiàn)。

與激光雷達(dá)不同，攝像頭成像是“被動(dòng)”式的（Passive sensing），感光元件僅接收物體表面反射的環(huán)境光，三維世界經(jīng)投影變換（Projective transformation）被“壓縮”到二維相平面上，成像過程中場(chǎng)景“深度”（景深）信息丟失了。

當(dāng)算法再試圖從二維圖像中恢復(fù)目標(biāo)物體原本在三維空間中所處的位置時(shí)，面對(duì)的是一個(gè)欠約束的“逆問題”（ill-posed inverse problem），其難度可直觀理解為用2個(gè)方程式求解3個(gè)未知數(shù)。

由一張二維圖像恢復(fù)場(chǎng)景中的三維信息（「2D-to-3D」）是計(jì)算機(jī)視覺學(xué)科誕生之初定義的經(jīng)典問題之一，時(shí)至今日仍是視覺界熱門研究方向，也是使用攝像頭代替激光雷達(dá)為無人駕駛提供感知結(jié)果所面臨的核心技術(shù)挑戰(zhàn)。

進(jìn)入技術(shù)分享前，先看一段一鏡到底的日常Apollo Lite亦莊路測(cè)視頻。視頻中測(cè)試區(qū)域處于亦莊中心繁華路段，包含兩條路線，累計(jì)自動(dòng)駕駛行駛時(shí)長接近60分鐘，全程無接管。

從視頻中可以看出，主車以40公里/小時(shí)左右的速度行駛，寬闊道路行駛時(shí)速度可提升至55公里/小時(shí)以上（亦莊道路限速為60公里/小時(shí)）。行駛過程中，主車與其他車輛，行人，自行車和電動(dòng)車等道路參與者交互頻繁，在成功處理切車、變道、過路口、掉頭、等城市道路基礎(chǔ)交通場(chǎng)景之外，車輛也展示了出色的通行能力和與道路參與者的交互能力，視頻中呈現(xiàn)了其在路樁擺放密集的狹窄路段、施工區(qū)域以及雙向單車道上的通行能力，車輛能夠合理避讓車流中橫穿道路的行人和在車流中穿梭的摩托車和電動(dòng)車?？梢暬瘉碜攒嚩藢?shí)時(shí)感知結(jié)果，視頻內(nèi)容未經(jīng)任何剪輯加工，力求客觀真實(shí)的呈現(xiàn)完整測(cè)試過程。

03 Apollo Lite視覺感知技術(shù)揭秘

百度在近一年視覺感知攻堅(jiān)過程中積累了豐富的實(shí)踐經(jīng)驗(yàn)并沉淀了有效的方法論，總結(jié)下來，三個(gè)關(guān)鍵技術(shù)層面的深耕突破成就了Apollo Lite駕駛能力迅速提升。

2D-to-3D難題

近年來，視覺目標(biāo)檢測(cè)任務(wù)伴隨深度學(xué)習(xí)技術(shù)的進(jìn)步取得了突飛猛進(jìn)的發(fā)展。今天，經(jīng)對(duì)人工標(biāo)注數(shù)據(jù)進(jìn)行監(jiān)督學(xué)習(xí)，在圖像上將目標(biāo)物體（如車輛、行人、自行車等）2D框選出來已經(jīng)不是視覺感知的頭部難題，單純2D框檢測(cè)無法支持3D空間中的車輛規(guī)劃控制，打造一套純視覺感知系統(tǒng)，解決2D-to-3D問題首當(dāng)其沖。

傳統(tǒng)算法計(jì)算2D檢測(cè)框的框底中心后通過道路平面假設(shè)和幾何推理物體深度信息，這類方法簡單輕量，但對(duì)2D框檢測(cè)完整性和道路的坡度曲率等有較強(qiáng)的依賴假設(shè)，對(duì)遮擋和車輛顛簸比較敏感，算法欠缺魯棒性，不足以應(yīng)對(duì)復(fù)雜城市道路上的3D檢測(cè)任務(wù)。Apollo Lite延續(xù)「模型學(xué)習(xí)+幾何推理」框架同時(shí)對(duì)方法細(xì)節(jié)進(jìn)行了大量打磨升級(jí)。

傳統(tǒng)基于地平面假設(shè)和相似關(guān)系計(jì)算2D-to-3D的方法

模型學(xué)習(xí) – 數(shù)據(jù)和學(xué)習(xí)層面，利用激光雷達(dá)的點(diǎn)云數(shù)據(jù)將2D標(biāo)注框和3D檢測(cè)框關(guān)聯(lián)，在標(biāo)注階段為每個(gè)2D包圍框賦予了物理世界中的距離、尺寸、朝向、遮擋狀態(tài)/比例等信息。

通過從安裝相同攝像頭（Camera configuration）并配備高線數(shù)激光雷達(dá)的百度L4自動(dòng)駕駛車隊(duì)獲取海量時(shí)空對(duì)齊的「圖像+點(diǎn)云」數(shù)據(jù)，訓(xùn)練階段DNN（Deep neural networks）網(wǎng)絡(luò)模型從圖像appearance信息做障礙物端到端的三維屬性預(yù)測(cè)，模型端完成從僅預(yù)測(cè)2D結(jié)果到學(xué)習(xí)2D+3D信息的升級(jí)，將傳統(tǒng)“幾何推理”后處理模塊的任務(wù)大程度向模型端前置，“深度學(xué)習(xí)+數(shù)據(jù)驅(qū)動(dòng)”為提升預(yù)測(cè)效果提供了便捷有效的路徑和更高的天花板。

在添加模型端3D預(yù)測(cè)能力外，為給后續(xù)幾何約束階段提供豐富的圖像線索，針對(duì)不同位置/朝向相機(jī)的安裝觀測(cè)特性，模型從學(xué)習(xí)障礙物矩形包圍框拓展到預(yù)測(cè)更多維度更細(xì)粒度的特征，如車輪和車底接地輪廓線。

幾何推理– 將模型輸出的圖像視覺特征作為觀測(cè)值，障礙物空間位置朝向和尺寸作為未知參數(shù)，基于相機(jī)姿態(tài)和經(jīng)典投影幾何（Projective geometry）可計(jì)算3D到2D的投影。

理想條件下3D元素投影到相機(jī)的坐標(biāo)和2D特征觀測(cè)應(yīng)該重合，由于3D信息預(yù)測(cè)誤差的存在，模型輸出3D投影和2D圖像觀測(cè)會(huì)存在一定偏差， 幾何推理的作用是通過場(chǎng)景先驗(yàn)和視覺幾何原理對(duì)模型輸出的障礙物3D初值進(jìn)行優(yōu)化，以此得到2D-to-3D的精確結(jié)果。

投影計(jì)算方程依賴對(duì)相機(jī)的姿態(tài)進(jìn)行實(shí)時(shí)估計(jì)，理想情況假設(shè)相機(jī)水平安裝，視線與路面平行，俯仰角接近為0°。車輛行駛中，受地面坡度起伏影響，相機(jī)相對(duì)地面的姿態(tài)不斷變化，精準(zhǔn)估計(jì)車輛運(yùn)動(dòng)中相機(jī)俯仰角是求解3D-to-2D投影的必要條件，我們稱這個(gè)步驟在線標(biāo)定。

Apollo Lite在線標(biāo)定算法并不依賴高精地圖，通過學(xué)習(xí)道路上線狀特征如車道線和馬路邊沿，擬合出多條空間中的平行線在圖像投影上的交點(diǎn) — 消失點(diǎn)（Vanishing point），基于透視幾何原理，可精確估計(jì)車輛行駛中相機(jī)俯仰角的實(shí)時(shí)變化的情況。

基于車道線和視覺幾何的消失點(diǎn)估計(jì)

鎖定相機(jī)姿態(tài)后，障礙物尺寸是影響3D距離估計(jì)的另一關(guān)鍵因素。透視投影過程中可解釋成像結(jié)果的 “距離x尺寸” 組合并不唯一，因遮擋和圖像截?cái)啻嬖?，從局?D框?qū)W習(xí)障礙物尺寸的難度較大，Apollo Lite轉(zhuǎn)而從 「分類」 視角尋求突破，物理世界中車輛種類（轎車，SUV，公交、卡車……）和其對(duì)應(yīng)物理尺寸是可枚舉的，通過歸納構(gòu)建維護(hù)了一個(gè)種類豐富的車輛 “類型x尺寸” 模板庫，模型學(xué)習(xí)的類型和尺寸信息結(jié)合模板庫搜索為障礙物尺寸初值提供了有效約束。

Apollo-lite細(xì)分類（fine-grained）車輛模板庫

經(jīng)過精細(xì)化打磨的2D-to-3D算法顯著提升了Apollo Lite在復(fù)雜城市道路下的自動(dòng)駕駛能力和乘坐體驗(yàn)，因“3D位置估計(jì)不準(zhǔn)”衍生的駕駛策略缺陷如碰撞風(fēng)險(xiǎn)、急剎等事件發(fā)生頻率大幅降低，與之相關(guān)的接管頻次和急剎頻次指標(biāo)分別下降90%和80%，200m內(nèi)車輛距離估計(jì)平均相對(duì)距離誤差低于4.5%，行人與非機(jī)動(dòng)車平均相對(duì)距離誤差低于5%。

場(chǎng)景語義理解

解決2D-to-3D問題夯實(shí)了感知「看見」和「看準(zhǔn)」的基礎(chǔ)能力，復(fù)雜城市道路對(duì)系統(tǒng)「看懂」場(chǎng)景的能力提出了更進(jìn)一步的要求，根據(jù)轉(zhuǎn)向燈和剎車燈狀態(tài)預(yù)測(cè)前車行為，通過錐筒擺放判斷道路施工并提前繞行，在紅綠燈被前方大車遮擋時(shí)根據(jù)周邊車輛行為判斷信號(hào)燈顏色狀態(tài)等都屬讀懂場(chǎng)景的能力，視覺感知系統(tǒng)從像素中挖掘圖像內(nèi)蘊(yùn)含的深層信息對(duì)提升駕駛智能性和通過性至關(guān)重要。

下面重點(diǎn)以交通信號(hào)燈識(shí)別任務(wù)為例，介紹Apollo Lite為應(yīng)對(duì)復(fù)雜城市路況所做的部分感知技術(shù)升級(jí)。

動(dòng)態(tài)語義識(shí)別 – 紅綠燈檢測(cè)依賴高精地圖為路網(wǎng)內(nèi)每個(gè)燈提供靜態(tài)語義標(biāo)注信息（如3D位置與尺寸，方向控制，車道的綁定關(guān)系等），重地圖先驗(yàn)的模式變相降低了線上感知算法難度，但難以應(yīng)對(duì)信號(hào)燈故障和高頻的設(shè)備維護(hù)和道路變更。

Apollo Lite為此擴(kuò)充了紅綠燈動(dòng)態(tài)語義識(shí)別能力，在不依賴地圖前提下，一方面支持檢測(cè)場(chǎng)景中出現(xiàn)的各類臨時(shí)紅綠燈，輸出2D燈桿/燈框、距離、燈頭顏色等屬性，另一方面，擴(kuò)充了語義理解的維度，在此前單一單幀燈色識(shí)別基礎(chǔ)上把時(shí)序燈色變化過程蘊(yùn)含的語義考慮進(jìn)來，新增加倒計(jì)時(shí)、轉(zhuǎn)向燈、燈色閃爍模式、故障燈語義等場(chǎng)景理解能力，不依賴地圖實(shí)時(shí)更新亦能第一時(shí)間適應(yīng)道路上的變更，為決策規(guī)劃提供信號(hào)燈全語義輸出。

紅綠燈動(dòng)態(tài)語義識(shí)別(移動(dòng)紅綠燈，多語義燈，故障燈等)

可通行性推理 – 行駛在復(fù)雜城市道路中，交通信號(hào)燈在相機(jī)中全程可見難以獲得保證，遮擋、逆光、雨霧模糊等情況下要求感知系統(tǒng)具備人類司機(jī)的推理邏輯，為此Apollo Lite感知補(bǔ)充了信號(hào)燈推理功能。

紅綠燈通行性推理場(chǎng)景(動(dòng)靜態(tài)遮擋，霧天/雨天/夜晚/背景干擾問題等)

首先，增加算法對(duì)自身感知結(jié)果置信度的精準(zhǔn)評(píng)估能力，在觀測(cè)量不完全或者攝像頭成像不理想情況下，切換到推理模式。該模式下算法結(jié)合車身周邊障礙物運(yùn)動(dòng)信息提取車流軌跡，配合 對(duì)路口其它高置信可見燈的狀態(tài)和語義分析，通過融合多路信息學(xué)習(xí)路口可通行性，預(yù)測(cè)燈色，有效保證了在觀測(cè)數(shù)據(jù)不完整情況下信號(hào)燈顏色仍能被正確識(shí)別。

得益于以上場(chǎng)景語義解讀能力的升級(jí)，Apollo Lite在城市道路的通行能力獲得進(jìn)一步提高，單位測(cè)試?yán)锍虄?nèi)，因信號(hào)燈被遮擋導(dǎo)致的主車急剎和不合理停滯等問題減少近3倍，因信號(hào)燈感知錯(cuò)誤造成的路口通過失敗問題減少近10倍。

數(shù)據(jù)驅(qū)動(dòng)的迭代模式

數(shù)據(jù)閉環(huán)自動(dòng)化是近年業(yè)內(nèi)高頻提及的概念，“數(shù)據(jù)驅(qū)動(dòng)算法”、“自動(dòng)化解決問題”、“跨量級(jí)降低L4成本”等傳播數(shù)據(jù)即能力的理念流傳甚廣，行業(yè)對(duì)數(shù)據(jù)的預(yù)期水漲船高。

是否擁有了海量數(shù)據(jù)就等同于能自動(dòng)邁進(jìn)完全無人駕駛？一個(gè)靠數(shù)據(jù)驅(qū)動(dòng)的系統(tǒng)如何打造？拋開技術(shù)理念與愿景，下面從「數(shù)據(jù)實(shí)踐」和「數(shù)據(jù)組織能力建設(shè)」的角度跟讀者分享百度在邁向「數(shù)據(jù)轉(zhuǎn)化成駕駛能力」道路上的經(jīng)驗(yàn)認(rèn)知。

回顧百度7年自動(dòng)駕駛技術(shù)發(fā)展歷程，我們將研發(fā)迭代模式定義成三階段，每個(gè)階段對(duì)應(yīng)的場(chǎng)景，對(duì)人才結(jié)構(gòu)和組織能力的需求不盡相同。

研發(fā)模式迭代定義三階段，從基于規(guī)則和傳統(tǒng)機(jī)器學(xué)習(xí)方法逐步向數(shù)據(jù)驅(qū)動(dòng)演進(jìn)

階段Ⅰ – 此時(shí)數(shù)據(jù)基礎(chǔ)設(shè)施建設(shè)相對(duì)薄弱，系統(tǒng)內(nèi)Deep Learning化模塊/功能占比較低，研發(fā)主力是已在某領(lǐng)域經(jīng)過長期系統(tǒng)化訓(xùn)練的算法專家，他們用計(jì)算機(jī)語言將掌握的專業(yè)知識(shí)轉(zhuǎn)化為功能性確定的代碼，我們內(nèi)部稱這類初期算法「Rule-based」和「Traditional Machine Learning」方法。

“Rule”中包含人為設(shè)定的規(guī)則和對(duì)物理世界的經(jīng)驗(yàn)假設(shè)，以車道線檢測(cè)任務(wù)為例，經(jīng)典計(jì)算機(jī)視覺算法能夠不依賴標(biāo)注數(shù)據(jù)，僅使用梯度計(jì)算，邊緣檢測(cè)算子和曲線擬合等經(jīng)典技術(shù)完成車道線提取。

Rule-based方法優(yōu)勢(shì)是不依賴數(shù)據(jù)的積累標(biāo)注，過擬合有限場(chǎng)景比較有效，算法從研發(fā)到上路速度快，適用于prototype演示階段的研發(fā)迭代。

另一方面，規(guī)則假設(shè)引入大量人工參數(shù)和判斷條件，不利于業(yè)務(wù)需求增加測(cè)試規(guī)模擴(kuò)大后的技術(shù)泛化以及場(chǎng)景拓展。

Traditional Machine Learning方法如SVM和Random Forest等開始利用數(shù)據(jù)解決問題，這類方法對(duì)特征設(shè)計(jì)依賴強(qiáng)，研發(fā)人員需要具備對(duì)數(shù)據(jù)特征較強(qiáng)的直覺和洞察力。

此外，它們的淺層模型結(jié)構(gòu)對(duì)數(shù)據(jù)的消化能力有限，大數(shù)據(jù)在任務(wù)上存在過擬合，并不能很好的解決復(fù)雜的自動(dòng)駕駛問題。

階段Ⅱ– 這一階段圍繞數(shù)據(jù)所做的基礎(chǔ)設(shè)施建設(shè)趨于完善，數(shù)據(jù)采集流程和標(biāo)注規(guī)則明確，配套的數(shù)據(jù)標(biāo)注工具和標(biāo)注分發(fā)體系使用穩(wěn)定，數(shù)據(jù)質(zhì)量以及數(shù)據(jù)獲取效率相比Ⅰ階段有質(zhì)的提升。

此時(shí)研發(fā)人員有意識(shí)的用深度學(xué)習(xí)思想重新審視線上Rule-based和Traditional Machine Learning方法，積極嘗試用神經(jīng)網(wǎng)絡(luò)（DNN）對(duì)舊方法進(jìn)行改造替換。

數(shù)據(jù)獲取的便捷讓技術(shù)人員在面對(duì)新需求新任務(wù)時(shí)更多轉(zhuǎn)向深度學(xué)習(xí),過去系統(tǒng)內(nèi)基于規(guī)則和傳統(tǒng)學(xué)習(xí)方法實(shí)現(xiàn)的算法逐漸被深度學(xué)習(xí)擠壓取代，特別是人工設(shè)計(jì)的后處理步驟大幅減少，策略和參數(shù)被「固化」，規(guī)避依靠頻繁刪減策略和調(diào)參解決問題。

搭建規(guī)模化機(jī)器學(xué)習(xí)系統(tǒng) – 高效率消化規(guī)?；瘻y(cè)試中產(chǎn)生的海量數(shù)據(jù)

人才結(jié)構(gòu)方面，研發(fā)主力為有經(jīng)驗(yàn)的深度學(xué)習(xí)專家，此階段研發(fā)人員的核心工作可歸納為兩方面：

1）根據(jù)任務(wù)制定標(biāo)注規(guī)則，提出數(shù)據(jù)采集標(biāo)注需求，完成網(wǎng)絡(luò)結(jié)構(gòu)選擇或設(shè)計(jì)，訓(xùn)練并部署復(fù)雜的深度學(xué)習(xí)模型；

2）無人駕駛對(duì)計(jì)算實(shí)時(shí)性有著嚴(yán)苛要求，車載計(jì)算資源有限，鑒于DNN計(jì)算量大，算法上線前需要壓縮模型以減小對(duì)于計(jì)算時(shí)間和空間的消耗。

數(shù)據(jù)在第二階段起到更重要的作用，增加訓(xùn)練數(shù)據(jù)量可有效提升模型效果。數(shù)據(jù)獲取方式以定制化采集任務(wù)為主，重視數(shù)據(jù)規(guī)模和廣度，如視覺感知數(shù)據(jù)可按地理位置、時(shí)間、天氣等若干維度組合采樣，保證訓(xùn)練數(shù)據(jù)對(duì)應(yīng)用場(chǎng)景的全面均勻覆蓋。

階段Ⅲ – 經(jīng)過長時(shí)間規(guī)?；缆窚y(cè)試，各類任務(wù)對(duì)應(yīng)的模型網(wǎng)絡(luò)結(jié)構(gòu)相對(duì)固定，模型預(yù)測(cè)頭部問題收斂到特定的場(chǎng)景。

此時(shí)，技術(shù)團(tuán)隊(duì)工作的重心轉(zhuǎn)入對(duì)數(shù)據(jù)鏈路的精細(xì)化管理、對(duì)數(shù)據(jù)多樣性和數(shù)據(jù)分布合理性的深耕以及對(duì)數(shù)據(jù)平臺(tái)化能力的建設(shè)上。這一階段要求研發(fā)人員的思維模式發(fā)生轉(zhuǎn)變，從「設(shè)計(jì)算法解決問題」過渡至「用數(shù)據(jù)解決問題」。

思維工作模式的變化帶來對(duì)組織能力更高的要求。促成數(shù)據(jù)到模型能力的高效流轉(zhuǎn)首先需要搭建一套中心化框架平臺(tái)，將工程團(tuán)隊(duì)擅長的自動(dòng)化、分布式和高并發(fā)與算法團(tuán)隊(duì)長期沉淀的經(jīng)驗(yàn)與代碼相結(jié)合，從車端數(shù)據(jù)logging系統(tǒng)設(shè)計(jì)，到有效數(shù)據(jù)的挖掘清洗和離線標(biāo)注，最后到模型的訓(xùn)練迭代和評(píng)測(cè)部署，構(gòu)成一個(gè)閉環(huán)結(jié)構(gòu)。

借助平臺(tái)，算法人員的精力最大化投入到數(shù)據(jù)分析和標(biāo)注策略設(shè)計(jì)中，新團(tuán)隊(duì)成員通過使用平臺(tái)提供的功能接口也能更高效的產(chǎn)出模型，減少學(xué)習(xí)成本，人員的單體經(jīng)驗(yàn)差異被抹平，數(shù)據(jù)組織能力上升到一個(gè)新高度。

精準(zhǔn)數(shù)據(jù)挖掘– 進(jìn)入第三階段，單純追求訓(xùn)練數(shù)據(jù)規(guī)模已無法有效提升網(wǎng)絡(luò)性能，Apollo Lite視覺感知10路攝像頭每秒共產(chǎn)生大于1GB的圖像數(shù)據(jù)，若不加選擇的收集使用，不僅存儲(chǔ)標(biāo)注成本巨大，從模型迭代效率考慮同樣不現(xiàn)實(shí)。如果把數(shù)據(jù)比喻成深度學(xué)習(xí)的原礦石，該階段我們需要設(shè)計(jì)一套「煉金術(shù)」從中提煉出對(duì)模型迭代最有效的信息。

Apollo Lite提煉數(shù)據(jù)背后思想簡單有效 – 「Cross checking」 ，真實(shí)物理世界是連續(xù)的，物體不會(huì)憑空出現(xiàn)或消失，不同位置類型傳感器間的觀測(cè)應(yīng)是「自洽」的。

當(dāng)感知系統(tǒng)的觀測(cè)違背基本物理假設(shè)時(shí)，大概率對(duì)應(yīng)這一時(shí)刻的模型輸出缺陷。基于Cross checking原理，Apollo Lite視覺感知系統(tǒng)內(nèi)設(shè)計(jì)實(shí)現(xiàn)了多層次挖掘策略，從單幀到連續(xù)幀時(shí)序，從單攝像頭到多相機(jī)融合，從感知結(jié)果到地圖標(biāo)注和安全員行為校驗(yàn)，每一環(huán)節(jié)都能夠通過觀測(cè)量間的自洽性判斷精準(zhǔn)定位線上模型的潛在缺陷，發(fā)掘長尾數(shù)據(jù)，通過logging標(biāo)簽自動(dòng)映射數(shù)據(jù)和對(duì)應(yīng)的模型任務(wù)。

今天，參與Apollo Lite關(guān)鍵感知模型迭代的新增數(shù)據(jù)中超過80%來自線上數(shù)據(jù)挖掘，是一年前的3倍。Cross checking本身是一個(gè)在圖像區(qū)域內(nèi)定位問題的過程，挖掘數(shù)據(jù)配套的標(biāo)注策略不需面向全幀，從而更輕量經(jīng)濟(jì)，帶來近6倍標(biāo)注效率提升。

高效規(guī)?；瘷C(jī)器學(xué)習(xí)– 路測(cè)產(chǎn)生的海量數(shù)據(jù)配合精準(zhǔn)挖掘與高度Learning化的感知框架是Apollo Lite持續(xù)進(jìn)化的基礎(chǔ)。Apollo Lite視覺系統(tǒng)由31個(gè)深度神經(jīng)網(wǎng)絡(luò)構(gòu)成，能夠?qū)崟r(shí)處理10路高清視頻數(shù)據(jù)，并輸出超過200組感知信息。

為了在車載計(jì)算單元的有限算力上完成如此龐大的視覺信息處理任務(wù)，Apollo Lite充分發(fā)掘子任務(wù)之間的相關(guān)性，設(shè)計(jì)出層次化的特征共享結(jié)構(gòu)，采用共享子網(wǎng)絡(luò)的方式來降低計(jì)算量。

Apollo Lite視覺神經(jīng)網(wǎng)絡(luò)系統(tǒng)

共享特征網(wǎng)絡(luò)在提升推理效率的同時(shí)，也增加了感知任務(wù)之間的耦合度。而不同感知任務(wù)在數(shù)據(jù)規(guī)模、輸入輸出形式、優(yōu)化目標(biāo)等方面都存在不同程度的差異，這給離線訓(xùn)練帶來了巨大挑戰(zhàn)。

為解決異構(gòu)數(shù)據(jù)的訓(xùn)練問題，Apollo Lite搭建了一套分布式多任務(wù)模型訓(xùn)練框架，自適應(yīng)采樣不同任務(wù)的數(shù)據(jù)送入訓(xùn)練，激活其對(duì)應(yīng)的網(wǎng)絡(luò)子集并計(jì)算損失，然后統(tǒng)一更新共享的網(wǎng)絡(luò)參數(shù)。

Apollo Lite多任務(wù)訓(xùn)練框架

依托強(qiáng)大的機(jī)器學(xué)習(xí)基礎(chǔ)設(shè)施以及持續(xù)、精準(zhǔn)的數(shù)據(jù)，Apollo Lite關(guān)鍵模型迭代效率相比19年初提升了近4倍，千萬量級(jí)訓(xùn)練數(shù)據(jù)上的多任務(wù)模型同步更新能夠在1周之內(nèi)完成。

回到本節(jié)開篇的問題 – 是否擁有了海量數(shù)據(jù)就等同于自動(dòng)邁進(jìn)完全無人駕駛？

04 結(jié)尾與展望

再先進(jìn)的技術(shù)長時(shí)間脫離產(chǎn)品和用戶也是孤立的，在領(lǐng)航輔助駕駛產(chǎn)品競爭白熱化的今天，百度將Apollo Lite視覺感知技術(shù)從L4應(yīng)用降維至L2+級(jí)領(lǐng)航輔助駕駛，打造覆蓋“泊車域+行車域”的城市全場(chǎng)景智能駕駛一體化解決方案 – Apollo智駕產(chǎn)品ANP（Apollo Navigation Pilot）。

我們并不想急于下結(jié)論，畢竟數(shù)據(jù)的想象空間巨大有待深入挖掘，但可以肯定并和讀者分享的是實(shí)踐求真的道路并非一些技術(shù)文案描寫的那樣一蹴而就。

數(shù)據(jù)閉環(huán)對(duì)業(yè)務(wù)產(chǎn)生的價(jià)值是技術(shù)持續(xù)跟蹤的指標(biāo)。以數(shù)據(jù)挖掘環(huán)節(jié)為例，除關(guān)注新模型在此前挖掘積累的bad case上的累計(jì)修復(fù)率外，測(cè)試車輛在挖掘規(guī)則固定前提下的挖掘量也是考核閉環(huán)效果的重要參考。我們希望看到模型迭代帶動(dòng)修復(fù)率攀升，同時(shí)規(guī)模化路測(cè)階段同類問題的復(fù)現(xiàn)率持續(xù)走低。

通過指標(biāo)跟蹤分析，能夠看到數(shù)據(jù)閉環(huán)價(jià)值在一部分感知任務(wù)上呈現(xiàn)了明顯的增長趨勢(shì)。但也存在一部分任務(wù)進(jìn)入了依靠單純灌入數(shù)據(jù)已無法維持收益增長的階段，此時(shí)研發(fā)人員需重新審視數(shù)據(jù)鏈條上的環(huán)節(jié)，從階段Ⅲ退回到階段Ⅱ，回歸到對(duì)標(biāo)注規(guī)則的研究或新的網(wǎng)絡(luò)結(jié)構(gòu)設(shè)計(jì)這些偏基礎(chǔ)的工作中。

相信如何有效獲取數(shù)據(jù)并將之轉(zhuǎn)化成可被感知的駕駛能力會(huì)是伴隨Apollo Lite成長的長期技術(shù)問題，需要技術(shù)團(tuán)隊(duì)沉下心來通過實(shí)踐逐步打通這條數(shù)據(jù)通路。

Apollo Lite兩輕一強(qiáng)的技術(shù)特點(diǎn)可以極好的融入產(chǎn)品，「輕傳感器、輕算力」面對(duì)規(guī)模量產(chǎn)無懼成本壓力，同時(shí)「強(qiáng)感知能力」能夠助力ANP應(yīng)對(duì)城市道路駕駛中的各類復(fù)雜場(chǎng)景。

自動(dòng)駕駛是公認(rèn)的智能汽車決勝點(diǎn)，正引領(lǐng)新一輪體驗(yàn)升級(jí)。

在ANP廣州發(fā)布之后，國內(nèi)也有媒體評(píng)價(jià)說，百度Apollo的純視覺自動(dòng)駕駛產(chǎn)品發(fā)布，對(duì)特斯拉是一次“奇襲”，因?yàn)锳pollo生態(tài)開放的特性，可以更快實(shí)現(xiàn)特斯拉一樣的智能駕駛能力，類似于Apollo+車廠的安卓生態(tài)，會(huì)跟特斯拉FSD封閉的iOS生態(tài)形成抗衡。

雖然這樣的類比可以讓更多人形象的看到業(yè)態(tài)，但坦率的說，Apollo Lite更主要的是提供了特斯拉FSD和Mobileye之外的國產(chǎn)選擇，或許“三足鼎立”更合適。

雖然今天的Apollo Lite只有兩歲，但它無疑已經(jīng)站在了潮頭浪尖。