這里是「毫有引力」技術(shù)欄目，本欄目由毫末智行供稿，未來(lái)將持續(xù)進(jìn)行自動(dòng)駕駛相關(guān)技術(shù)分享

干貨分享停不下來(lái)～

想知道自動(dòng)駕駛中

傳感器是如何進(jìn)行校準(zhǔn)的嗎？

本期就帶你一起研究研究！

在自動(dòng)駕駛系統(tǒng)中，傳感器是系統(tǒng)能感知周圍環(huán)境的決定性因素。在傳感器裝車后，需要通過(guò)傳感器標(biāo)定消除安裝誤差，讓自動(dòng)駕駛系統(tǒng)準(zhǔn)確定位各個(gè)傳感器被安裝在什么位置。傳感器標(biāo)定為后續(xù)建圖、定位、感知和控制打下堅(jiān)實(shí)基礎(chǔ)，是自動(dòng)駕駛系統(tǒng)穩(wěn)定運(yùn)行的核心部分與前置條件。標(biāo)定的精度會(huì)影響傳感器的使用上限精度，最終影響車輛的行駛狀態(tài)。

各路傳感器請(qǐng)匯報(bào)位置坐標(biāo)！

——傳感器標(biāo)定

自動(dòng)駕駛系統(tǒng)中包含各種各樣的傳感器，傳感器是系統(tǒng)能感知周圍環(huán)境的決定性因素。在傳感器裝車后，需要對(duì)傳感器進(jìn)行標(biāo)定，獲取各個(gè)傳感器的安裝位置，進(jìn)而讓后續(xù)算法模塊更好地使用傳感器數(shù)據(jù)。?

簡(jiǎn)單來(lái)講，傳感器標(biāo)定需要告訴自動(dòng)駕駛系統(tǒng)傳感器的準(zhǔn)確位置。如果說(shuō)定位是在地圖坐標(biāo)系確定自車的位置，那么標(biāo)定就是在車身坐標(biāo)系確定傳感器的位置。

從性質(zhì)上說(shuō)，傳感器標(biāo)定可以分為內(nèi)參標(biāo)定與外參標(biāo)定。

內(nèi)參標(biāo)定主要與傳感器有關(guān)，它可以通過(guò)建立傳感器誤差模型，獲得傳感器特性參數(shù)、消除傳感器本身測(cè)量誤差。外參標(biāo)定與安裝位置有關(guān)，通過(guò)各種先驗(yàn)信息獲取傳感器在車身坐標(biāo)系下的位姿。外參標(biāo)定求解的主要問(wèn)題取決于車輛坐標(biāo)系的定義。

如果車輛坐標(biāo)系為車輛上的某一點(diǎn)，將車輛看作剛體，傳感器標(biāo)定解決的問(wèn)題，即為固定車輛坐標(biāo)系下傳感器的位置確定。進(jìn)一步，如果車輛坐標(biāo)系即為車輛上的某個(gè)傳感器坐標(biāo)系。傳感器外參標(biāo)定問(wèn)題即簡(jiǎn)化為多傳感器外參標(biāo)定問(wèn)題。

如果車輛坐標(biāo)系為車輛自車地面上某一點(diǎn)。除了裝車后的傳感器位姿標(biāo)定，還包含自車狀態(tài)、以及環(huán)境變化影響下的傳感器坐標(biāo)系與車身坐標(biāo)系間的外參變化問(wèn)題。

下面，我們就分別介紹一下自動(dòng)駕駛中的內(nèi)參標(biāo)定與外參標(biāo)定。

傳感器校準(zhǔn)第一回

——內(nèi)參標(biāo)定

由于與安裝位置無(wú)關(guān)，在自動(dòng)駕駛系統(tǒng)中，傳感器的內(nèi)參一般在裝車前進(jìn)行。下面，我們就以最常見(jiàn)的相機(jī)內(nèi)參為例，介紹相機(jī)內(nèi)參標(biāo)定的原理與方法。

1、相機(jī)內(nèi)參標(biāo)定

相機(jī)內(nèi)參標(biāo)定主要是為了獲取相機(jī)本身的性質(zhì)參數(shù)，包括相機(jī)的焦距，光心以及畸變參數(shù)等：

內(nèi)參的物理意義與相機(jī)模型強(qiáng)相關(guān)，常用的相機(jī)成像模型為小孔模型，等效焦距與光心用數(shù)學(xué)可表示為一個(gè)矩陣

其中 fx、fy 是等效焦距，cx、cy 是光心。

畸變的產(chǎn)生，是由于相機(jī)本身不能精確地按照理想的成像模型進(jìn)行透視投影，即物點(diǎn)在實(shí)際的相機(jī)成像平面上生成的像與理想成像之間存在一定偏差，這個(gè)偏差就是相機(jī)畸變?cè)斐傻?。以常?jiàn)的小孔成像模型為例，畸變誤差主要是徑向畸變誤差（k1、k2、k3）和切向畸變誤差（p1、p2）。

內(nèi)外兼修

——傳感器外參標(biāo)定

目前業(yè)界常用的相機(jī)標(biāo)定方法是張正友方法。張正友方法通過(guò)多種位姿擺放的標(biāo)定板，提取棋盤格角點(diǎn)，計(jì)算出相機(jī)的內(nèi)參。感興趣的同學(xué)可以查閱相關(guān)論文[1]，本文不再贅述。

下面介紹傳感器外參標(biāo)定。外參標(biāo)定的問(wèn)題核心是求解傳感器在車輛坐標(biāo)系下的位姿。由于涉及到車輛坐標(biāo)系的確定，傳感器外參標(biāo)定主要分為兩部分：

• 傳感器與車身的外參標(biāo)定，車身的特點(diǎn)在于沒(méi)有直接測(cè)量值，所以需要借助先驗(yàn)信息，如工裝信息、環(huán)境信息等達(dá)到求解自車位姿變換關(guān)系的目的，進(jìn)而完成傳感器和車身的標(biāo)定。
• 傳統(tǒng)意義上的多傳感器標(biāo)定，需要通過(guò)傳感器的測(cè)量信息來(lái)求解不同傳感器之間的位姿變換。

1、傳感器與車身的外參標(biāo)定

1.1、相機(jī)與車身的標(biāo)定

在以相機(jī)為主的自動(dòng)駕駛傳感器配置方案中，車上一般會(huì)安裝多個(gè)相機(jī)。相機(jī)與車身的外參標(biāo)定可以通過(guò)引入房間坐標(biāo)系實(shí)現(xiàn)：標(biāo)定間墻面上貼若干標(biāo)記物，我們稱之為靶標(biāo)。如下圖所示:

相機(jī)通過(guò)檢測(cè)靶標(biāo)建立與房間坐標(biāo)系的關(guān)系，即可求解相機(jī)與房間的外參。在標(biāo)定階段保證車身停在房間的固定位置，即得到車身與房間的外參。通過(guò)坐標(biāo)轉(zhuǎn)換即可完成相機(jī)與車身的外參標(biāo)定。這種方法依賴于靶標(biāo)的角點(diǎn)精度，因此對(duì)環(huán)境有一定要求，且靶標(biāo)數(shù)量越多，精度越高。

在產(chǎn)線上，方案設(shè)計(jì)既要考慮傳感器標(biāo)定精度，又要兼顧車輛標(biāo)定效率和產(chǎn)線環(huán)境，考慮到產(chǎn)線環(huán)境中，車輛傳感器工裝位置與車輛?？课恢每梢暂^大程度保證精度。因此，可以減少靶標(biāo)數(shù)量，運(yùn)用同樣的標(biāo)定原理，實(shí)現(xiàn)相機(jī)與車身的標(biāo)定。

1.2、激光雷達(dá)與車身的標(biāo)定

在以激光雷達(dá)為主的自動(dòng)駕駛傳感器配置方案中，需要標(biāo)定激光雷達(dá)與車身的外參，類似于相機(jī)與車身的標(biāo)定原理，激光雷達(dá)與車身的標(biāo)定也可借助標(biāo)定板進(jìn)行。標(biāo)定過(guò)程中，將多個(gè)標(biāo)定板置于激光雷達(dá)可掃描到的區(qū)域，通過(guò)已知的車身位姿、標(biāo)定板位姿和激光雷達(dá)工裝等先驗(yàn)信息，可解算出激光雷達(dá)與車身的外參。

2、多傳感器聯(lián)合標(biāo)定

多傳感器聯(lián)合標(biāo)定是多傳感器融合的必要前提。單一傳感器往往會(huì)存在覆蓋范圍不足和觀測(cè)信息受限等局限與挑戰(zhàn)，多傳感器融合方案可以做到不同傳感器間的取長(zhǎng)補(bǔ)短。根據(jù)傳感器特性與算法原理的不同，多傳感器標(biāo)定可分為基于共視特征信息的標(biāo)定和基于運(yùn)動(dòng)軌跡的標(biāo)定。

2.1、基于共視特征信息的標(biāo)定

1）多激光雷達(dá)之間的標(biāo)定

激光雷達(dá)可以直接測(cè)量周圍環(huán)境的距離信息，因此多激光雷達(dá)間的標(biāo)定方案較為成熟。對(duì)于有共視區(qū)域的激光雷達(dá)，可以通過(guò)場(chǎng)景的特征信息，運(yùn)用 NDT 或 ICP 等配準(zhǔn)方法實(shí)現(xiàn)點(diǎn)云特征匹配，從而完成多個(gè)激光雷達(dá)之間的外參標(biāo)定。

圖來(lái)自于網(wǎng)絡(luò)

?2）相機(jī)與激光雷達(dá)的外參標(biāo)定

相機(jī)與激光雷達(dá)的觀測(cè)信息表達(dá)方式是不一致的，那么如何進(jìn)行二者之間的標(biāo)定呢？目前業(yè)界比較成熟的方案是通過(guò)引入統(tǒng)一觀測(cè)源建立約束。對(duì)于有共視區(qū)域的相機(jī)與激光雷達(dá)，可在共視區(qū)域內(nèi)布置靶標(biāo)作為統(tǒng)一觀測(cè)源, 分別獲取靶標(biāo)在相機(jī)坐標(biāo)系下和激光雷達(dá)坐標(biāo)系下的特征。通過(guò)兩種特征匹配，完成相機(jī)與激光雷達(dá)之間的外參標(biāo)定。下圖便是通過(guò)棋盤格靶標(biāo)作為統(tǒng)一觀測(cè)源的相機(jī)與激光雷達(dá)標(biāo)定流程圖。

圖來(lái)自于網(wǎng)絡(luò)

2.2、基于運(yùn)動(dòng)軌跡的標(biāo)定

對(duì)于 IMU 這種直接估計(jì)位姿變化的傳感器，常見(jiàn)的方案是基于車輛運(yùn)動(dòng)軌跡的標(biāo)定。以激光雷達(dá)與 IMU、相機(jī)與 IMU 之間的標(biāo)定為例，可采用最經(jīng)典的手眼標(biāo)定方式，基于給定的 IMU 與激光雷達(dá)/相機(jī)之間的外參初值，通過(guò)激光雷達(dá)/相機(jī)的軌跡與 IMU 的軌跡進(jìn)行外參優(yōu)化，從而完成最終的激光雷達(dá)/相機(jī)和 IMU 的外參標(biāo)定。下圖是激光雷達(dá)與 IMU 外參標(biāo)定的示意圖。

圖來(lái)自于網(wǎng)絡(luò)

外參標(biāo)定有奇招

——在線標(biāo)定

區(qū)別于以上介紹的外參離線標(biāo)定方法（需要固定的場(chǎng)地、固定的靶標(biāo)、以及精確的車輛定位、固定的運(yùn)動(dòng)軌跡等信息）。在線標(biāo)定可在自然場(chǎng)景中, 根據(jù)離線標(biāo)定的結(jié)果、工裝、車輛運(yùn)動(dòng)等先驗(yàn)信息，實(shí)現(xiàn)對(duì)離線標(biāo)定結(jié)果的全部參數(shù)或部分參數(shù)的修正。由于方案的靈活性，傳感器外參的在線標(biāo)定是近年業(yè)內(nèi)的研究重點(diǎn)。下面我們分別介紹一下傳感器與車身、多傳感器之間的在線標(biāo)定。

1、傳感器與車身的在線標(biāo)定

1.1、相機(jī)與車身的在線標(biāo)定

車輛行駛過(guò)程中，相機(jī)可根據(jù)行駛道路信息獲取場(chǎng)景中的一些平行或者正交的信息（如車道線、燈桿等）?？臻g平行線在相機(jī)圖像平面上的交點(diǎn)被稱為消失點(diǎn)。通過(guò)這些空間平行線得到的消失點(diǎn)，我們可以實(shí)時(shí)估計(jì)相機(jī)與車體的外參。該方案靈活性強(qiáng)，但魯棒性會(huì)有所下降，因此如何兼顧算法的魯棒性與靈活性是該類方案研究的重點(diǎn)。外參標(biāo)定前后的效果如下圖的（b 糾正前，俯視圖內(nèi)八）和（c 糾正后，俯視圖平行）所示，感興趣的同學(xué)可以參考[2]。

?1.2、激光雷達(dá)與車身的在線標(biāo)定

與相機(jī)不同，激光雷達(dá)可以直接測(cè)量觀測(cè)點(diǎn)的 3D 距離。因此，激光雷達(dá)與車身的在線標(biāo)定也相對(duì)成熟。基于車輛的運(yùn)動(dòng)先驗(yàn)與場(chǎng)景先驗(yàn)，在車輛行駛過(guò)程中，激光雷達(dá)可根據(jù)車輛的行駛方向、地平面點(diǎn)云等信息，實(shí)時(shí)糾正自身與車體的外參。

2、多傳感器的在線標(biāo)定

多傳感器在線標(biāo)定，尤其是激光雷達(dá)與相機(jī)的在線標(biāo)定，是業(yè)界公認(rèn)的難點(diǎn)，在近年已有廣泛研究。目前業(yè)內(nèi)主要方法是通過(guò)最大化點(diǎn)云與圖像的配準(zhǔn)信息來(lái)估計(jì)標(biāo)定參數(shù)。根據(jù)信息提取方式的不同，多傳感器在線標(biāo)定的研究方向可分為邊緣配準(zhǔn)[3]、互信息[4]、分割[5][6]三種方法。

2.1、邊緣配準(zhǔn)?

邊緣配準(zhǔn)方法首先提取圖像和激光雷達(dá)的邊緣信息，然后將激光雷達(dá)邊緣信息通過(guò)初值投影到圖像上，并采用優(yōu)化算法，最大化兩種邊緣信息乘積的值，以此完成激光雷達(dá)和相機(jī)的外參標(biāo)定。

此方法原理簡(jiǎn)單，可操作性強(qiáng)，但由于只能獲取激光雷達(dá)的垂直邊緣信息，對(duì)于偏航角的估計(jì)效果要明顯優(yōu)于橫滾角與俯仰角。

2.2、互信息

互信息方法對(duì)激光雷達(dá)的強(qiáng)度信息與圖像的灰度信息進(jìn)行互信息操作，使得互信息結(jié)果最大，從而完成標(biāo)定。如下圖所示，正確的激光雷達(dá)外參角度值（89degree）對(duì)應(yīng)的互相關(guān)系數(shù)最大。

此類方法對(duì)于激光雷達(dá)的強(qiáng)度值有較強(qiáng)依賴，若激光雷達(dá)線束較少，點(diǎn)云稀疏，匹配效果可能無(wú)法達(dá)到需求。

2.3、分割

分割方法需要對(duì)圖像/點(diǎn)云進(jìn)行分割操作，分割后的信息會(huì)用于特征匹配。如下圖所示，此類方法可以只對(duì)圖像進(jìn)行分割（圖①），也可以對(duì)圖像和點(diǎn)云都進(jìn)行分割（圖②）。

①只對(duì)圖像分割

②對(duì)點(diǎn)云、圖像均進(jìn)行分割

此類方法將激光雷達(dá)原始點(diǎn)云或分割后的點(diǎn)云通過(guò)初值回投到分割后的圖像上，采用局部?jī)?yōu)化的方式，使得點(diǎn)云與圖像作用關(guān)系最大化，完成激光雷達(dá)與相機(jī)的外參標(biāo)定。

相較于提取邊緣的方法，此類方法可獲得圖像和點(diǎn)云的更多有效信息，且圖像分割相較于圖像邊緣提取，抗干擾能力強(qiáng)。

綜上所述，在線標(biāo)定優(yōu)勢(shì)在于可利用自然場(chǎng)景，完成傳感器矯正，缺點(diǎn)是需要在滿足條件的自然場(chǎng)景下進(jìn)行，且若場(chǎng)景特性無(wú)法達(dá)到預(yù)期，會(huì)導(dǎo)致在線標(biāo)定結(jié)果偏差較大或標(biāo)定失敗。

傳感器標(biāo)定是自動(dòng)駕駛系統(tǒng)的基礎(chǔ)環(huán)節(jié)，也是自動(dòng)駕駛系統(tǒng)運(yùn)行的關(guān)鍵條件。傳感器標(biāo)定結(jié)果的準(zhǔn)確性與精確性，直接影響自動(dòng)駕駛各功能模塊的運(yùn)行效果。因此，一個(gè)準(zhǔn)確的、高精度的標(biāo)定結(jié)果，是傳感器標(biāo)定的目標(biāo)，也是整個(gè)自動(dòng)駕駛系統(tǒng)的需求與期望。目前傳感器標(biāo)定仍存在諸多挑戰(zhàn)，如何實(shí)現(xiàn)高精度的標(biāo)定、如何利用有限的環(huán)境完成標(biāo)定、如何完成不同類型傳感器之間的標(biāo)定，如何感知車輛運(yùn)動(dòng)過(guò)程中傳感器位置的偏差，如何對(duì)傳感器位置偏差實(shí)時(shí)糾正等，這些都是我們會(huì)不斷優(yōu)化和探索的方向。

本期的干貨分享就到這里啦，不得不說(shuō)，屬實(shí)把傳感器標(biāo)定給講明白了！下期我們會(huì)繼續(xù)為大家?guī)?lái)更精彩的自動(dòng)駕駛干貨分享，請(qǐng)繼續(xù)鎖定「毫有引力」呦～

參考文獻(xiàn)

[1] Z. Zhang, “A Flexible New Technique  for Camera Calibration”

[2] J. Lee, Y. Baik, H. Cho, and S. Yoo，“Online Extrinsic Camera Calibration for Temporally Consistent IPM Using Lane Boundary Observations with a Lane Width Prior”

[3] J. Levinson and S. Thrun, “Automatic Online Calibration of Cameras and Lasers”

[4] G. Pandey and J. R. McBride and S. Savarese  and R. M. Eustice, ”Automatic Targetless Extrinsic Calibration of a 3D Lidar and Camera by Maximizing Mutual Information”

[5] Y. Zhu, C. Li, Y. Zhang, “Online Camera-LiDAR Calibration with Sensor Semantic Information”

[6] T. Ma , Z. Liu , G. Yan, and Y. Li，”CRLF: Automatic Calibration and Refinement based on Line Feature for LiDAR and Camera in Road Scenes”