[[433515]]

自動駕駛的測試是一個非常復(fù)雜的系統(tǒng)，我們用一篇文章，由小到大的逐個展開來和大家一起梳理下。

在梳理之前我們先拋出一個問題：自動駕駛的測試需要達到什么量級？

根據(jù)國際一般標準統(tǒng)計，人類司機駕駛一小時的死亡概率約為1/10^6，全世界每年因道路交通事故死亡人數(shù)約有125萬。自動駕駛汽車如果要發(fā)展，其死亡概率必然要遠低于這個標準。根據(jù)調(diào)查，目前社會可以接受的自動駕駛一小時的死亡率須不高于1/10^9。因此，如果要將死亡率降到1/10^9，每更新一次軟件，司機必須駕駛10^9小時，才能保證功能的可靠性。顯然，這種實車測試的方法并不可取。

真實的測試體系往往利用了分層思想，結(jié)合多種不同成本和覆蓋角度的測試手段，讓我們可以用可控的時間和成本，近似達成類似實車測試的效果。不同測試方法的成本是不同的，合理迭代次數(shù)也是有區(qū)別的。一個擁有合理測試體系的項目，模塊邏輯測試必須規(guī)避60%以上的潛在問題，仿真功能性能測試則要解決30%的剩余潛在問題，而留給實車魯棒性測試最多10%。在各自手段內(nèi)盡可能的發(fā)現(xiàn)潛在問題，控制后道測試手段的問題量，如果搭配合理，則在保證極高覆蓋度的同時，成本也會進入可控范圍。比如如果仿真測試體系完備，則規(guī)劃開發(fā)幾乎無須上車驗證，就可以減少大量的外圍支持資源。

不同測試方法的對比

多層次的測試手段搭配也并非沒有代價，構(gòu)建一個專項測試系統(tǒng)往往存在搭建周期長，初期成本高的問題。無論是零部件測試中的CAE,DV,PV測試，還是軟件里的靜態(tài)，集成，仿真測試，常有為了追趕進度而繞過一些測試工序的情況發(fā)生。

其實這是一筆經(jīng)濟賬，當我們省略了某一前道測試工序時，如果后道高成本的測試工序解決前道工序遺留問題時所耗費的資源，要高于設(shè)立前道流程的花費，整個測試體系就會變得得不償失，反之亦然。

合理的測試層次也是一個平衡過程。

但一般而言，在一個延續(xù)性和成熟度較強的研發(fā)體系內(nèi)，更多梯次且相互正交的測試體系配合高效的流轉(zhuǎn)往往會達成更高的效率。

真正有效的測試，往往是使用特定的測試工具和特定的測試用例，審核被測對象特定維度的問題。任何一種測試系統(tǒng)，只要其針對某一類潛在問題，成本低于其他手段，覆蓋問題范圍又高于其他手段，則就是一個好的測試系統(tǒng)，并無所謂其屬于哪種類型的測試系統(tǒng)，那都是后期被人為強行劃分出來的概念。在測試的設(shè)計中，務(wù)實非常重要。

工程實踐過程中的測試過程

另外，測試Pipeline往往也是訓練Pipeline的一部分。過去測試體系的工作主要是杜絕+由于人的失誤所導致的潛在產(chǎn)品隱患。

最為我們所熟知的就是測試驅(qū)動開發(fā)（Test-DrivenDevelopment，TDD），其要求在編寫某個功能的代碼之前先編寫測試代碼，然后只編寫使測試通過的功能代碼，通過測試來推動開發(fā)進行。

而現(xiàn)在自動駕駛正在走向自監(jiān)督過程，我們看到更多機器與機器之間的互動。其中也包括機器與機器之間的測試反饋和開發(fā)調(diào)整，也就是我們非常熟悉的深度學習。對人而言，測試是為了保證產(chǎn)品和目標一致。對機器而言，訓練也是為了達成類似的目的。

以上就是測試的一些基本思想，緊接著我們詳細看下，目前智能駕駛有哪些典型的測試過程。如下圖所示，個人認為可以從不同合作模式、不同領(lǐng)域?qū)Ｏ蛞约安煌夹g(shù)斷面三個方面進行系統(tǒng)性的梳理。

自動駕駛的常用測試手段

從不同合作模式來看，可以分為黑盒、白盒以及灰盒測試。

白盒測試會檢查內(nèi)部結(jié)構(gòu)每一條通路是否按照設(shè)計正常工作，一般用于產(chǎn)品提供方內(nèi)部的管理；黑盒測試一般不考慮內(nèi)部結(jié)構(gòu)，僅檢查產(chǎn)品功能是否按照合同提出的技術(shù)要求實現(xiàn)了，一般用于被提供方的內(nèi)部管理；灰盒測試介于上述兩種測試程度之間，在測試外部功能的基礎(chǔ)上，會對關(guān)鍵鏈路進行確認，一般用于提供方的發(fā)布測試或者被提供方的驗收測試，具體程度視具體合作而定。

從不同領(lǐng)域?qū)ｍ梺砜?，不同的領(lǐng)域有各自特有的問題及其對應(yīng)的測試維度。

從軟件代碼出發(fā)會有靜態(tài)測試、動態(tài)測試等：靜態(tài)測試會分析程序的語句結(jié)構(gòu)、編程規(guī)范等是否有錯誤和不妥,常用工具包括QAC/Converity等，占整個測試體系的比重較小，一般是軟件測試的第一道，與之類似的是codereview其會組織相關(guān)專家對代碼的靜態(tài)設(shè)計做出評估；而動態(tài)測試則會比對運行程序后的結(jié)果與預(yù)期，分析運行效率和健壯性，目前自動駕駛絕大部分軟件測試科目都屬于動態(tài)測試范疇，比如性能測試及各類在環(huán)測試。

從不同技術(shù)斷面出發(fā)，是所有劃分模式中最復(fù)雜也是最重要的。

首先解釋下設(shè)置斷面的意義。當我們面臨一個復(fù)雜多因素混合作用的系統(tǒng)問題時，通過設(shè)置斷面，可以隔離影響變量，將復(fù)雜性簡化到一個可被測試的程度，同時可以將原本串行的問題排查任務(wù)轉(zhuǎn)化成并行任務(wù)，縮短項目進度。

如下圖所示，最底層的是單元測試、模塊測試和模塊集成測試。在研發(fā)平臺上（X86），將軟件函數(shù)、單個或多個模塊的輸入輸出作為斷面，核心在于驗證代碼邏輯的正確性。通過VectorCast、GTest等工具將大量的錯誤輸入和少量的正確輸入注入被測對象，確認反饋符合預(yù)期，這個過程一般是開環(huán)的。

模塊級別的測試一般也被稱為模型在環(huán)測試Model-in-the-Loop(MIL) 除了考慮部分正確性外，還會有一些模型性能指標比如感知模塊的識別精度等。

軟件邏輯層面的測試方法

一個在X86上穩(wěn)定運行的軟件，在嵌入式環(huán)境下可能出現(xiàn)堆棧溢出，調(diào)度混亂，時間戳不穩(wěn)定，系統(tǒng)調(diào)用支持不到位，內(nèi)存讀取異常，運行阻塞等一系列問題。為了排查這種差異。如下圖所示，在軟件邏輯層面之上可以繼續(xù)引入目標硬件這個維度，也就是處理器在環(huán)測試Processor-in-the-Loop(PIL)，其是將部分代碼放置于目標處理器上，驗證代碼功能正確性的同時，確認其性能是否達到要求。比如，軟件最長耗時，系統(tǒng)調(diào)用可靠性等。軟件在環(huán)測試一般評估正確性，而硬件在環(huán)測試一般評估穩(wěn)定性。

PIL測試方法

如下圖所示，以上所有的測試一般都是開環(huán)的，并不會驗證與環(huán)境的交互。當我們在軟硬件的維度上增加和虛擬或者現(xiàn)實環(huán)境的交互，就產(chǎn)生了軟件在環(huán)測試SIL(Software-in-the-Loop)和硬件在環(huán)測試HIL(Hardware-in-the-Loop)的概念。

引入環(huán)境要素后，還會同時引入場景庫作為測試用例。測試過程除了驗證基本邏輯外，還會評估一部分智能駕駛的運行服務(wù)指標。

SIL測試不考慮目標硬件，可以在服務(wù)器上大量部署，成本較低，核心用于驗證智駕功能的閉環(huán)運行正確性?？梢詣澐譃槭褂谜Z義級仿真系統(tǒng)進行的局部閉環(huán)測試，以及使用環(huán)境渲染級別仿真系統(tǒng)進行的軟件全功能閉環(huán)測試。

SIL是目前最有潛力的測試手段之一，因此我們做一個簡單展開。單元測試、模塊測試等方法雖然自動化率高，但不能直接發(fā)現(xiàn)智駕系統(tǒng)的功能性問題。而硬件在環(huán)測試、實車測試等雖然問題發(fā)現(xiàn)更為直觀，但成本較高。而SIL在這些方法之間取得了不錯的平衡，是一種性價比很高的手段。SIL系統(tǒng)從內(nèi)部看核心要確?？芍貜?fù)性。如果測試無法復(fù)現(xiàn)其過去的實驗結(jié)果，對后續(xù)評估會構(gòu)成很大影響。如果由于多線程等原因確實無法完全保持可重復(fù)性，也需要多次實驗后確認其方差與穩(wěn)定性。從整個測試體系看，越靠近內(nèi)部（比如單元測試），則越容易控制可重復(fù)性，而越靠近外部（比如實車測試），就越難控制。從SIL系統(tǒng)的外部看核心是自動化率和大規(guī)模并行部署的能力，作為整個測試體系當中綜合分析來說規(guī)模最大的測試手段。減少人工和提高并發(fā)部署能力可以有效降低測試成本，并提高測試效率。SIL系統(tǒng)在智能駕駛的閉環(huán)體系下，除了測試，也開始為規(guī)劃的迭代訓練服務(wù)。我們在仿真測試中進行的安全評估、功能評估、法規(guī)要求評估、舒適性評估等所使用的指標和用例，其實也都是規(guī)控訓練過程中的一種“損失函數(shù)”。

HIL測試區(qū)別于SIL需要考慮目標硬件，一般不會大量部署，因為成本較高，其結(jié)果相比SIL更接近真實狀態(tài)，可以額外評估軟件在目標硬件上的整體性能（運行調(diào)度，內(nèi)存調(diào)用，算力調(diào)用）是否符合預(yù)期。HIL測試通常將一個被測控制器和一系列模擬設(shè)備做硬線（PWM、UART、CAN、GPIO等）連接，將記錄或模擬的原始數(shù)據(jù)反向構(gòu)建成真實信號輸入，來完成對目標硬件的測試工作。在實踐過程中，個人認為，切勿執(zhí)著于全功能長周期工作的HIL臺架，20臺輕量級HIL臺架（PIL臺架）的價格可能還不及1臺全功能HIL臺架。效果上兩者對比差距卻并不大。一部分物理IO，一部分功能模擬往往更為科學，HIL臺架一般僅用于短周期的閉環(huán)測試，長周期測試往往會有較大誤差。

SIL和HIL測試方法

完成了單控制器的測試后，智能駕駛測試會繼續(xù)進入整車級別，如下圖所示，首先我們要介紹的是車輛在環(huán)測試VIL（Vehicle-in-Loop）或者說實車虛擬注入測試，即通過在軟件內(nèi)部配置斷面測試接口，在封閉測試場內(nèi)的實車測試環(huán)境下，屏蔽部分真實感知輸入，從而在測試場內(nèi)的空曠區(qū)域模擬任何形式的道路環(huán)境。比如在路上添加并不存在的車輛，或是模擬一個交叉口的信號燈切換。由于其他測試要素均為真實內(nèi)容，因此測試可信度高，且可以充分利用封閉測試場的環(huán)境資源。

VIL測試方法

另一種VIL的全新形態(tài)是實車交通環(huán)境在環(huán)測試（VTEHIL），在室內(nèi)場地構(gòu)建模擬的周邊環(huán)境變化以及車輛移動，來進行智能駕駛車的測試。由于環(huán)境完全受控，不受到氣候變化影響，可實現(xiàn)24小時連續(xù)測試，并且可以高效且完整模擬極端工況。

VTEHIL測試方法

進一步往下，是道路在環(huán)測試RIL（Road-in-Loop）或者說封閉場地測試。除了環(huán)境參與者和司機之外，其他全部都是真實要素。

在常規(guī)汽車測試體系中，此種測試手段也是常規(guī)操作，但不同于過去人工遙控和擺放的實施手段，目前已經(jīng)出現(xiàn)了自動化測試方案，由于最新的假人假車裝備同樣配置了必要的傳感器，執(zhí)行器與通信設(shè)備，可以接入云端集中指揮調(diào)度。因此云端的測試用例可以同步到封閉測試場內(nèi)被智能假人和假車“表演”出來。大大提升完成一次測試的效率。

RIL測試方法

相比控制器級別的測試，整車級測試更關(guān)系體驗下指標，比如接管率、魯棒性等指標。除了VIL和RIL之外，整車級別測試還有LabCar測試以及大規(guī)模實車測試，這部分內(nèi)容更多和整車其他傳統(tǒng)測試流程一起進行。

LABCAR測試臺架

單個智駕控制器測試完成后，需要給到整車部門，在整個電子電氣架構(gòu)中進行測試，這個測試就被稱為LABCAR測試，LABCAR測試也可以理解為幾個控制器組成的硬件在環(huán)（HIL）測試。通過模擬外圍傳感器與執(zhí)行器信息來檢測整個電子電氣系統(tǒng)是否工作正常，同時LABCAR還可以人為注入故障（短路，斷路等）來檢測非正常情況下反應(yīng)是否符合預(yù)期。

整車測試相對于系統(tǒng)測試往往關(guān)注的并非單個功能，而是可能導致綜合影響的共性維度。比如整車異響性能測試。在很多相關(guān)問題上，涉事零部件往往在單體臺架試驗、系統(tǒng)級臺架試驗上，均無法復(fù)現(xiàn)，僅僅只有在整車狀態(tài)下的某些特殊工況下才會出現(xiàn)。

整車測試的一般做法就是開放道路測試。首先是汽車的六大基本性能，包括動力性、經(jīng)濟性、制動性、操穩(wěn)性、通過性，都有標準客觀試驗做定量解析，平順性可能涉及工程師校調(diào)，隨風格會有些許差異。另外會在各種極端環(huán)境下做綜合測試（高原，高寒，高溫），常說的“冬天去黑河，夏天去海南”，就是這么來的。一般來說所有測試的試驗條件會比正常用車條件苛刻的多，從而可以有效提升測試效率。當然還包括剛才說到的NVH性能，耐久性能等只有在整車環(huán)境下才可以進行的測試?？偟膩碚f，整車測試的核心邏輯和零部件測試類似。由于測試需要配備牌照，保險，司機以及大量其他人力和保障資源，時間和經(jīng)濟成本都很高。因此整車測試往往較為精煉且被嚴格計劃。實驗工況數(shù)量和測試次數(shù)會被精密計算，一般根據(jù)理論外加經(jīng)驗估計得到。整車測試的另一個目的就是獲得政府認可公告。中國有針對乘用車的強制檢驗標準，大概40余項，對于可以在市場售賣的車輛而言，這些試驗是必須通過的。

大規(guī)模實車測試

大規(guī)模開放道路測試對于智能駕駛系統(tǒng)來說也是必須的，原因和傳統(tǒng)路測略有不同。由于真實交通中更加千變?nèi)f化，而駕駛模擬器或者受控場地測試只能復(fù)現(xiàn)很小一部分，評價的結(jié)果可能與真實情況有偏差。因此需要大規(guī)模路試來對智能駕駛汽車在整個交通環(huán)境中的運行進行驗證。在開放道路測試中，功能數(shù)據(jù)、行為數(shù)據(jù)、環(huán)境數(shù)據(jù)都要同步采集。功能數(shù)據(jù)往往來源于智駕系統(tǒng)本身。行為數(shù)據(jù)核心是監(jiān)控司機反應(yīng)，來源于額外安裝的內(nèi)部攝像頭、眼球追蹤儀、生理檢測設(shè)備。而環(huán)境數(shù)據(jù)會同時來源于車輛自身的環(huán)境傳感器以及一些額外安裝的性能更高的傳感設(shè)備，比如激光、ins或者高清相機。當然目前這種方法已經(jīng)更多的被數(shù)據(jù)閉環(huán)的方式所代替

以上就是和智能駕駛系統(tǒng)相關(guān)的所有測試手段的介紹，個人往往很難接觸到所有這些任務(wù)，但是理解完全局，對于個人理解自己的測試任務(wù)在研發(fā)中的意義是有指導性的。