本文經(jīng)自動(dòng)駕駛之心公眾號(hào)授權(quán)轉(zhuǎn)載，轉(zhuǎn)載請(qǐng)聯(lián)系出處。

論文名稱(chēng)：Vision-based Vehicle Speed Estimation: A Survey

導(dǎo)讀

在精確檢測(cè)車(chē)速車(chē)距的方案中，視覺(jué)方案是非常具有挑戰(zhàn)性的，但由于沒(méi)有昂貴的距離傳感器而大幅降低成本，所以潛力巨大。本文綜述了基于視覺(jué)的車(chē)輛速度、距離估計(jì)。并建立了一個(gè)完整的分類(lèi)法，對(duì)大量工作進(jìn)行分類(lèi)，對(duì)涉及的所有階段進(jìn)行分類(lèi)。除此之外，還提供了詳細(xì)的性能評(píng)估指標(biāo)和可用數(shù)據(jù)集概述。最后，論文討論了當(dāng)前的局限性和未來(lái)的方向。應(yīng)用背景 車(chē)輛速度的準(zhǔn)確估計(jì)是智能交通系統(tǒng)（ITS）的關(guān)鍵組成，這需要解決諸如同步數(shù)據(jù)記錄、表示、檢測(cè)和跟蹤、距離和速度估計(jì)等問(wèn)題。常見(jiàn)的速度估計(jì)應(yīng)用場(chǎng)景包括自動(dòng)駕駛、智能交通監(jiān)控，分為固定傳感器測(cè)試和移動(dòng)相機(jī)/車(chē)輛下的測(cè)試。論文主要介紹了在固定位置下基于camera的速度與距離估計(jì)！下圖為速度估計(jì)的整體流程：主要包括檢測(cè)跟蹤、距離估計(jì)、速度估計(jì)等；

主要技術(shù)

上圖匯總了基于視覺(jué)的車(chē)速測(cè)量系統(tǒng)的主要部分，Input data 、Detection and tracking、Distance and speed estimation、Application domains；

1.輸入數(shù)據(jù)

基于視覺(jué)的測(cè)速測(cè)距方案輸入為圖像數(shù)據(jù)，對(duì)于每輛車(chē)，將有一系列圖像，從第一次出現(xiàn)到最后一次出現(xiàn)?？捎脠D像的數(shù)量將取決于攝像機(jī)相對(duì)于道路的姿態(tài)、焦距、幀速率和車(chē)輛速度?，F(xiàn)有camera主要包括：交通camera和speed camera；其他形式的輸入數(shù)據(jù)包括車(chē)輛屬性，如車(chē)輛類(lèi)型、關(guān)鍵點(diǎn)、車(chē)牌大小等。camera標(biāo)定在提供內(nèi)外參數(shù)方面起著關(guān)鍵作用。路段尺寸的先驗(yàn)知識(shí)提供了計(jì)算道路與camera之間的外部關(guān)系甚至車(chē)輛速度的一些重要信息。

2.檢測(cè)和跟蹤

必須在所有可用圖像中檢測(cè)車(chē)輛或其某些代表性特征。隨著時(shí)間的推移跟蹤車(chē)輛或顯著特征對(duì)獲得速度測(cè)量至關(guān)重要，可以應(yīng)用不同的方法來(lái)處理這兩個(gè)任務(wù)。

3.距離和速度估計(jì)

速度估計(jì)本質(zhì)上涉及具有相關(guān)時(shí)間戳的距離估計(jì)。存在不同的方法來(lái)計(jì)算車(chē)輛與某些全局參考的相對(duì)距離，以及不同的方法計(jì)算車(chē)輛的速度。

4.應(yīng)用領(lǐng)域

主要應(yīng)用在交通監(jiān)控、預(yù)測(cè)、控制、自動(dòng)駕駛和移動(dòng)機(jī)器人領(lǐng)域！下圖是機(jī)動(dòng)車(chē)速度估計(jì)的全系列技術(shù)棧！

分類(lèi)

論文對(duì)135篇車(chē)速檢測(cè)相關(guān)論文展開(kāi)了調(diào)研，從輸入開(kāi)始，緊接著是檢測(cè)、跟蹤、距離和速度估計(jì)，最后是速度測(cè)量精度方法！論文對(duì)每個(gè)模塊的工作進(jìn)行了分類(lèi)。

1.Camera設(shè)置

主要涉及攝像機(jī)固有參數(shù)（傳感器尺寸和分辨率、焦距）和外部參數(shù)（相對(duì)于道路平面的位置，包括基于無(wú)人機(jī)的攝像機(jī)）以及攝像機(jī)數(shù)量（單攝像機(jī)、立體攝像機(jī)或多攝像機(jī)）。根據(jù)這些參數(shù)，投影在圖像平面上的真實(shí)場(chǎng)景可以表示沿短或大路段的一條或多條車(chē)道。根據(jù)這種配置以及車(chē)輛相對(duì)于camera的相對(duì)位置，能夠得到其中一個(gè)最重要的變量：meter與像素的比率，即每個(gè)像素代表的路段部分。該比率越低，估計(jì)距離和速度的精度越高，由于透視投影模型，該比率與距camera的distance平方成正比，這意味著在長(zhǎng)距離進(jìn)行的測(cè)量具有非常差的精度。

2.相機(jī)標(biāo)定

為了在真實(shí)世界坐標(biāo)中提供測(cè)量，需要精確估計(jì)攝像機(jī)的內(nèi)部和外部參數(shù)。最常見(jiàn)的方法是執(zhí)行軟標(biāo)定，即在實(shí)驗(yàn)室標(biāo)定或使用傳感器和透鏡特性近似固有參數(shù)，使用手動(dòng)或自動(dòng)程序獲得外部參數(shù)（道路平面和攝像機(jī)之間的剛性變換）。硬標(biāo)定涉及在已安裝攝像機(jī)的情況下聯(lián)合估計(jì)內(nèi)參和外參。也可以手動(dòng)執(zhí)行或自動(dòng)執(zhí)行。在某些有限的情況下，攝像機(jī)標(biāo)定被忽略。

3.車(chē)輛檢測(cè)

由于攝像機(jī)大多是靜態(tài)的，在大多數(shù)情況下，車(chē)輛檢測(cè)通過(guò)建模和減去背景來(lái)解決。其他方法是基于特征的，例如，檢測(cè)車(chē)牌或車(chē)輛的其他特征。最近，使用基于學(xué)習(xí)的方法識(shí)別圖像中的車(chē)輛越來(lái)越多。

4.車(chē)輛跟蹤

車(chē)輛具有平滑和穩(wěn)定軌跡的能力是處理車(chē)輛速度檢測(cè)的關(guān)鍵問(wèn)題，可以將車(chē)輛跟蹤分為三類(lèi)。首先，基于特征的，它跟蹤來(lái)自車(chē)輛的一組特征（例如，光流）。第二，這些方法側(cè)重于跟蹤blob的質(zhì)心或車(chē)輛的邊界框。第三，這些方法側(cè)重于跟蹤整個(gè)車(chē)輛或其特定部分（如車(chē)牌）。

5.距離估計(jì)

對(duì)于單目系統(tǒng)，車(chē)輛距離的估計(jì)通常使用一組約束條件進(jìn)行計(jì)算，例如平坦道路假設(shè)，包括基于單應(yīng)性和使用增強(qiáng)指示線、模式或region的方法，或者通過(guò)使用關(guān)于一些物體的實(shí)際尺寸的先驗(yàn)知識(shí)（例如，車(chē)牌或車(chē)輛的尺寸）。當(dāng)使用立體視覺(jué)時(shí)，這些限制得到緩解。

6.速度估計(jì)

在少數(shù)情況下，檢測(cè)車(chē)輛速度的問(wèn)題被提出為檢測(cè)路段上的交通速度的問(wèn)題，即直接獲得平均道路速度值。然而，在大多數(shù)情況下，檢測(cè)是在單個(gè)車(chē)輛上進(jìn)行的。需要關(guān)于camera幀速率的先驗(yàn)知識(shí)或每個(gè)圖像的準(zhǔn)確時(shí)間戳來(lái)計(jì)算測(cè)量之間的時(shí)間。使用連續(xù)的或非連續(xù)的圖像來(lái)估計(jì)速度是一個(gè)基本變量，對(duì)精度有很大影響。如何整合所有可用測(cè)量（瞬時(shí)、平均、最佳等）也是影響測(cè)量最終精度的關(guān)鍵因素。

7.生成真值

目前的工作主要包括：汽車(chē)速度計(jì)、基于距離的技術(shù)（如雷達(dá)或激光）、基于GPS的技術(shù)（包括標(biāo)準(zhǔn)GPS、GPS里程表和DGPS）、光屏障和路面?zhèn)鞲衅鳎ㄈ鐗弘娀螂姼校?/p>

相機(jī)設(shè)置與標(biāo)定

1.相機(jī)的設(shè)置

camera設(shè)置直接影響速度估計(jì)方法的精度?？紤]的第一類(lèi)是攝像機(jī)位置，包括無(wú)人機(jī)攝像機(jī)和交通攝像機(jī)，這些攝像機(jī)可以根據(jù)其高度大致分類(lèi)為距離(≥ 5m）或close（<5m）交通攝像頭。在某些情況下，攝像機(jī)位于道路一側(cè)，提供車(chē)輛的側(cè)視圖。大多數(shù)作品都基于單目系統(tǒng)，但還可以找到一些基于stereo的方法和非stereo多攝像機(jī)設(shè)置。盡管大多數(shù)方法都基于CCD或CMOS傳感器，但也可以找到一些使用基于事件的攝像機(jī)[16，17]和基于生物傳感器[147]的作品?？紤]到相機(jī)分辨率，可以預(yù)期隨著時(shí)間的推移像素分辨率會(huì)逐漸增加，這主要是由于硬件的進(jìn)步。然而，情況并非如此，大量作品的分辨率低于或等于640×480像素（VGA）。分辨率不僅影響圖像處理檢測(cè)技術(shù)的精度，還影響距離估計(jì)的精度。分辨率越高，meter像素比越低。焦距也是一個(gè)基本參數(shù)，通常與攝像機(jī)高度、路段長(zhǎng)度和視野覆蓋的車(chē)道數(shù)有關(guān)。對(duì)于特定的攝像機(jī)高度，焦距越大，距離和速度測(cè)量的精度越高。大多數(shù)作品使用中低焦距(≤ 25mm），因?yàn)樗鼈儽辉O(shè)計(jì)為覆蓋多車(chē)道和大的道路延伸。只有少數(shù)作品含蓄或明確地強(qiáng)調(diào)需要長(zhǎng)焦距來(lái)提高速度估計(jì)的準(zhǔn)確性，即使系統(tǒng)僅覆蓋一條車(chē)道。因此，根據(jù)攝像機(jī)的內(nèi)外（位置w.r.t.道路）參數(shù)，我們最終將不同的場(chǎng)景投影到圖像平面中。如下圖所示，可以大致定義三種類(lèi)型的場(chǎng)景：High meter-to-pixel ratio、Medium meter-to-pixel ratio、Low meter-to-pixel ratio。

2.系統(tǒng)的標(biāo)定

精確的攝像機(jī)標(biāo)定對(duì)于基于視覺(jué)的目標(biāo)距離和速度估計(jì)至關(guān)重要。無(wú)論是假設(shè)車(chē)輛在平坦道路上行駛，用于單目系統(tǒng)還是使用stereo配置，從像素坐標(biāo)獲得精確真實(shí)世界測(cè)量的能力在很大程度上取決于精確的系統(tǒng)標(biāo)定。對(duì)于單目系統(tǒng)，針孔相機(jī)模型提供了一個(gè)通用表達(dá)式，用于描述圖像平面（u，v）中的2D像素與3D真實(shí)世界坐標(biāo)系（Xw，Yw，Zw）之間的幾何關(guān)系，在這種情況下，該坐標(biāo)系放置在道路平面上并假設(shè)為平坦道路形狀：

單目攝像機(jī)標(biāo)定問(wèn)題是估計(jì)內(nèi)參、RT的問(wèn)題。如下圖所示，在處理用于車(chē)速估計(jì)的攝像機(jī)標(biāo)定時(shí)，采用了兩種主要方法。首先，軟標(biāo)定使用標(biāo)定模板（例如棋盤(pán)）在實(shí)驗(yàn)室中估計(jì)K，或假設(shè)數(shù)據(jù)表中提供的參數(shù)（傳感器分辨率、像素大小和焦距），然后在現(xiàn)場(chǎng)計(jì)算[R，T]。第二，硬標(biāo)定，在現(xiàn)場(chǎng)同時(shí)計(jì)算K和[R，T]。

計(jì)算相機(jī)外部參數(shù)的最常見(jiàn)方法之一是使用消失點(diǎn)。當(dāng)投影到圖像平面時(shí)，3D真實(shí)世界坐標(biāo)系中的一組平行線在唯一的2D點(diǎn)處相交。該點(diǎn)通常稱(chēng)為消失點(diǎn)。在這種情況下，明顯的一組線是道路標(biāo)記（包括實(shí)線和虛線車(chē)道線）和通常具有高對(duì)比度的道路邊緣。消失點(diǎn)的位置允許計(jì)算旋轉(zhuǎn)矩陣R，然后使用圖像中某個(gè)對(duì)象或區(qū)域的真實(shí)世界維度的知識(shí)來(lái)獲得平移矩陣T。執(zhí)行外部參數(shù)標(biāo)定的另一種常見(jiàn)方法是使用道路平面上存在的已知幾何靜態(tài)特征，然后計(jì)算單應(yīng)變換。

可以通過(guò)使用放置在道路平面上的標(biāo)準(zhǔn)（例如棋盤(pán)）或特殊標(biāo)定模板來(lái)解決獲取相機(jī)的內(nèi)外參數(shù)的硬標(biāo)定問(wèn)題。這種技術(shù)的主要缺點(diǎn)是需要暫時(shí)停止道路上或車(chē)道上的交通。只有少數(shù)方法以自動(dòng)方式處理內(nèi)部和外部參數(shù)的校準(zhǔn)。最常見(jiàn)的方法是從兩組或三組相互垂直的平行線計(jì)算兩個(gè)或三個(gè)正交消失點(diǎn)[133]。如[134]所述，這些消失點(diǎn)可以從場(chǎng)景中存在的靜態(tài)和移動(dòng)（本例中為車(chē)輛）元素中提取。在[77]中，隨時(shí)間跟蹤的車(chē)牌被用作校準(zhǔn)模式，以硬校準(zhǔn)系統(tǒng)。最復(fù)雜的方法將細(xì)粒度分類(lèi)與車(chē)輛關(guān)鍵點(diǎn)/姿態(tài)檢測(cè)[136]相結(jié)合，以確定特定車(chē)輛品牌和型號(hào)[135]（因此，確定其真實(shí)尺寸），從而執(zhí)行軟[90]或硬[101]系統(tǒng)標(biāo)定。

無(wú)論標(biāo)定中使用何種方法，無(wú)論是計(jì)算平移向量還是完全單應(yīng)性，都必須事先知道真實(shí)世界中某些特征/對(duì)象的尺寸。事實(shí)上，計(jì)算所謂的比例因子（m/px）以從像素到真實(shí)世界坐標(biāo)的轉(zhuǎn)換是使用單目系統(tǒng)處理距離和速度估計(jì)時(shí)要解決的關(guān)鍵問(wèn)題之一。最常見(jiàn)的特征是人工測(cè)量的路段/區(qū)域的道路/車(chē)道寬度或長(zhǎng)度之前已知物體的尺寸，如車(chē)輛或車(chē)牌，以及車(chē)道標(biāo)記的長(zhǎng)度和頻率。

最后，必須考慮基于stereo的方法，這些方法在實(shí)驗(yàn)室或現(xiàn)場(chǎng)使用標(biāo)準(zhǔn)stereo標(biāo)定技術(shù)和模式進(jìn)行硬校準(zhǔn)。除了每個(gè)攝像機(jī)的固有矩陣K之外，stereo系統(tǒng)還需要計(jì)算基本矩陣，其中包括從一個(gè)攝像機(jī)到另一個(gè)攝像機(jī)的非本征變換。由于立體系統(tǒng)能夠從兩幅圖像中的2D像素獲得3D真實(shí)世界測(cè)量值（在解決對(duì)應(yīng)問(wèn)題后），因此無(wú)需計(jì)算道路平面和攝像機(jī)之間的外部變換，但在任何情況下，都可以手動(dòng)計(jì)算[137]或自動(dòng)計(jì)算[138]。

檢測(cè)和跟蹤

1.檢測(cè)任務(wù)

檢測(cè)任務(wù)主要有靜態(tài)背景、基于特征、基于車(chē)牌、基于learning方式；除了基于無(wú)人機(jī)的系統(tǒng)外，大多數(shù)方法都基于靜態(tài)攝像機(jī)，由于存在靜態(tài)背景，車(chē)輛檢測(cè)任務(wù)更加容易。我們甚至可以采用最簡(jiǎn)單的逐幀方法找到相當(dāng)數(shù)量圖像，然后采用閾值法進(jìn)行圖像分割。執(zhí)行車(chē)輛檢測(cè)的最常見(jiàn)方法是基于背景減法，然后是一些形態(tài)學(xué)運(yùn)算和blob分析方法。使用不同的方法進(jìn)行背景相減，包括基于灰度和顏色的方法、高斯混合模型、自適應(yīng)背景建模等。在某些情況下，逐幀或背景減法與某些特征檢測(cè)器（例如，邊緣、角或KLT特征）相結(jié)合。

一些方法基于對(duì)車(chē)輛區(qū)域內(nèi)區(qū)域中分組的不同類(lèi)型特征的檢測(cè)，例如，在背景減法之后，以及依賴于邊緣、灰度特征、二進(jìn)制特征、SIFT/SURF特征或KLT特征。

盡管車(chē)牌的外觀可能會(huì)因國(guó)家和車(chē)輛類(lèi)型的不同而略有不同，但一般而言，它是任何車(chē)輛的同質(zhì)和獨(dú)特元素。這使得車(chē)牌成為車(chē)輛檢測(cè)系統(tǒng)非常有吸引力的目標(biāo)。因此，當(dāng)攝像機(jī)分辨率足夠大時(shí)，可以應(yīng)用車(chē)牌識(shí)別（LPR）系統(tǒng)。LPR系統(tǒng)通常至少分為3個(gè)步驟：檢測(cè)或定位、字符分割和字符識(shí)別。在這種情況下，為了檢測(cè)車(chē)輛，只需要應(yīng)用第一步，并且有許多方法（參考了關(guān)于該主題的多個(gè)具體調(diào)查）。基于學(xué)習(xí)的方法主要是一些目標(biāo)檢測(cè)方案，YOLO、SSD、Faster RCNN、Nanodet、YOLOX系列，輸出檢測(cè)位置與類(lèi)別；

2.跟蹤任務(wù)

速度檢測(cè)是一個(gè)多幀問(wèn)題。一旦檢測(cè)到車(chē)輛或車(chē)輛的某些部件/特征，通常采用跟蹤方法對(duì)噪聲檢測(cè)進(jìn)行濾波和平滑。跟蹤隱含地涉及解決數(shù)據(jù)關(guān)聯(lián)問(wèn)題（例如，匈牙利算法），特別是對(duì)于具有多個(gè)對(duì)象的情況[148]。一般而言，在描述不同的跟蹤方法時(shí)，可以考慮兩個(gè)主要維度。首先，根據(jù)被跟蹤的元素和/或其part的類(lèi)型（方法），其次，根據(jù)用于執(zhí)行跟蹤的具體方法（方法）。主要車(chē)輛跟蹤方法的視覺(jué)表示如下圖所示，可以看出將不同的方法分為四大類(lèi)：

首先，基于特征的方法，將車(chē)輛跟蹤問(wèn)題視為特征跟蹤問(wèn)題。在大多數(shù)情況下，在應(yīng)用背景減法或基于學(xué)習(xí)的方法后，特征是車(chē)輛區(qū)域內(nèi)的二進(jìn)制或灰度值。當(dāng)跟蹤被視為光流問(wèn)題時(shí)，通常會(huì)考慮KLT特征或拐角，分析車(chē)輛區(qū)域內(nèi)的運(yùn)動(dòng)矢量。其他方法跟蹤特征是二進(jìn)制模式、邊緣或SIFT/SURF描述符。

其次，還可以找到專(zhuān)注于跟蹤代表車(chē)輛區(qū)域的質(zhì)心方法，該區(qū)域可以被視為輪廓（凸殼或凹?xì)ぃ?，或一些模型，例如輪廓的凸殼[40]、橢圓[75]或擬合到檢測(cè)到的blob的邊界框。在任何情況下，使用質(zhì)心作為車(chē)輛的代表狀態(tài)是非常不可靠的。一方面，大多數(shù)blob檢測(cè)方法不是很精確，并且由于多個(gè)因素（陰影、重疊、接近物體等），車(chē)輛輪廓可能會(huì)在序列中變化。但即使在blob檢測(cè)非常精確（例如基于學(xué)習(xí)）的情況下，透視的變化也意味著影響質(zhì)心位置的顯著變化。只有在檢測(cè)準(zhǔn)確且視角變化不相關(guān)的非常特殊的情況下（例如，在基于無(wú)人機(jī)的系統(tǒng)中），才有理由使用這種方法。

第三組方法是使用車(chē)輛的整個(gè)區(qū)域（基于輪廓或邊界框）來(lái)執(zhí)行跟蹤的方法。這是迄今為止使用最廣泛的方法。

最后，許多方法關(guān)注于車(chē)牌的跟蹤。不知何故，這種方法不計(jì)算車(chē)輛的速度，而是計(jì)算車(chē)牌的速度，因?yàn)檐?chē)牌的移動(dòng)與車(chē)輛的移動(dòng)是一致的，因此完全等效且完全有效。

大多數(shù)工作通過(guò)模板、區(qū)域或特征匹配/相關(guān)方法，解決了采用檢測(cè)跟蹤方法后的車(chē)輛跟蹤問(wèn)題，通過(guò)檢測(cè)車(chē)輛在預(yù)定義區(qū)域或指示線上的交叉。這些方法解決了數(shù)據(jù)關(guān)聯(lián)問(wèn)題（為每個(gè)軌跡的每個(gè)對(duì)象關(guān)聯(lián)唯一標(biāo)識(shí)符），但不過(guò)濾跟蹤對(duì)象的狀態(tài)。通過(guò)檢測(cè)方法進(jìn)行跟蹤的一種特殊情況是車(chē)牌，因?yàn)樗鼈冊(cè)试S使用光學(xué)字符識(shí)別（OCR）系統(tǒng)作為解決數(shù)據(jù)關(guān)聯(lián)問(wèn)題的支持，使跟蹤系統(tǒng)更加穩(wěn)健。使用KLT特征進(jìn)行車(chē)輛檢測(cè)后，通常會(huì)跟蹤KLT以檢測(cè)光流。該方法僅適用于圖像之間的車(chē)輛位移較小的情況，這不適用于獲得準(zhǔn)確的速度測(cè)量。貝葉斯濾波的使用僅限于經(jīng)典的線性卡爾曼濾波器，該濾波器通常用于考慮恒定速度模型（不太適用于非常大的路段）。在[89]中，簡(jiǎn)單在線和實(shí)時(shí)（排序）（基于卡爾曼濾波）跟蹤和擴(kuò)展版深度排序也被應(yīng)用。

車(chē)輛距離和速度估計(jì)

camera是生成投影到2D平面中的3D世界的離散化表示的傳感器，考慮到光學(xué)中心和像素之間的立體角，真實(shí)世界坐標(biāo)中的面積A隨距離Z呈二次增加（Apx為單個(gè)像素的面積）：

單目系統(tǒng)的距離誤差：

fx為x軸的焦距，△X為已知目標(biāo)的尺寸，nm代表表示像素檢測(cè)誤差！為了使物體或其特征的距離估計(jì)誤差最小化，需要：使用望遠(yuǎn)鏡鏡頭（高焦距），因?yàn)檎`差隨著焦距的增加而減??；在立體系統(tǒng)中使用大的基線，或在單目系統(tǒng)中使用已知尺寸盡可能大的物體；當(dāng)車(chē)輛遠(yuǎn)離攝像機(jī)時(shí)，避免對(duì)其進(jìn)行測(cè)量，物體越近，距離估計(jì)誤差越?。?/p>

1.距離估計(jì)

雙目方法在真實(shí)世界坐標(biāo)系中測(cè)量距離是精確估計(jì)車(chē)速需要解決的最關(guān)鍵問(wèn)題，當(dāng)使用立體視覺(jué)時(shí)，這個(gè)任務(wù)很簡(jiǎn)單[42、60、61、74、80、92、100、112]。對(duì)于每個(gè)檢測(cè)到的車(chē)輛，可以使用車(chē)輛區(qū)域中包含的像素的視差值直接獲得相對(duì)距離。然而由于實(shí)際應(yīng)用問(wèn)題，雙目估計(jì)深度方案使用較少！單目方法對(duì)某些特征、物體或道路部分/路段的真實(shí)坐標(biāo)中的尺寸的了解是使用單目系統(tǒng)估計(jì)距離的基本問(wèn)題。這通常被稱(chēng)為將像素轉(zhuǎn)換為真實(shí)世界坐標(biāo)的比例因子。另一個(gè)常見(jiàn)要求是考慮平坦道路假設(shè)。如下圖所示，我們將基于單目的距離估計(jì)方法分為三組：

首先，基于指示線、增強(qiáng)線或區(qū)域[19、20、23、24、26、28、32、38、47、59、79、86、87、99、107、124]。這些方法不需要攝像機(jī)系統(tǒng)的校準(zhǔn)，而是測(cè)量道路上兩條或多條虛擬線之間的實(shí)際距離，或道路區(qū)域的實(shí)際大小。

然后，距離估計(jì)問(wèn)題被提出為一個(gè)檢測(cè)問(wèn)題，其中每當(dāng)車(chē)輛穿過(guò)預(yù)定義的虛擬線或區(qū)域時(shí)，所有車(chē)輛都在相同的距離處被檢測(cè)。由于虛擬線或區(qū)域位于道路上，因此精確的距離估計(jì)涉及車(chē)輛某個(gè)部分的接觸點(diǎn)的精確位置。車(chē)輛的這一部分在第二個(gè)位置應(yīng)相同，以獲得速度的一致估計(jì)。由于透視約束、空間（取決于攝像機(jī)分辨率和攝像機(jī)到車(chē)輛的距離）和時(shí)間（取決于攝像頭幀速率和車(chē)輛速度）離散化問(wèn)題、陰影等，這是一項(xiàng)需要解決的復(fù)雜任務(wù)。這些問(wèn)題可以通過(guò)使用多條指示線來(lái)緩解[20，107]。其次，基于單應(yīng)性計(jì)算的方法將平面（道路）從3D投影空間線性變換為2D投影空間（攝像機(jī)圖像平面）。這樣，圖像可以轉(zhuǎn)換為鳥(niǎo)瞰圖（BEV），其中像素位移可以直接轉(zhuǎn)換為真實(shí)世界距離。這種方法最常用于固定系統(tǒng)和無(wú)人機(jī)系統(tǒng)。如下圖所示，單應(yīng)性的計(jì)算涉及攝像機(jī)的內(nèi)部和外部參數(shù)的校準(zhǔn)以及場(chǎng)景某些部分的真實(shí)尺寸的先前知識(shí)。生成的BEV圖像將所有對(duì)象視為在道路平面上，這意味著車(chē)輛形狀的變形。這并不特別重要，因?yàn)橛糜谟?jì)算距離的點(diǎn)通常對(duì)應(yīng)于車(chē)輛和道路之間的接觸點(diǎn)，盡管由于系統(tǒng)的角度和道路上運(yùn)動(dòng)的錯(cuò)誤假設(shè)，該假設(shè)并不完全準(zhǔn)確。與使用指示線相比，該方法的主要優(yōu)點(diǎn)是可以在道路上的任何點(diǎn)進(jìn)行車(chē)輛檢測(cè)，因此攝像機(jī)幀速率和車(chē)速不會(huì)對(duì)距離估計(jì)產(chǎn)生負(fù)面影響。然而，需要非常精確的系統(tǒng)校準(zhǔn)。

第三，基于距離估計(jì)公式的方法，根據(jù)物體的真實(shí)尺寸，包括車(chē)牌和車(chē)輛。一方面，基于車(chē)牌尺寸的方法對(duì)低meter像素比和像素定位誤差非常敏感。另一方面，基于車(chē)輛尺寸的此類(lèi)方法需要應(yīng)用細(xì)粒度車(chē)輛模型分類(lèi)系統(tǒng)[135]，以識(shí)別特定模型并使用其特定尺寸。

2.速度計(jì)算

Time/distance between measurements一旦計(jì)算出車(chē)輛或其一部分的相對(duì)距離，速度計(jì)算就相對(duì)簡(jiǎn)單了。因此，第一個(gè)要求與每個(gè)測(cè)量（或圖像）關(guān)聯(lián)特定的時(shí)間戳有關(guān)?？梢允褂藐P(guān)于攝像機(jī)幀速率的先驗(yàn)知識(shí)。然而，對(duì)于每個(gè)記錄的圖像或從記錄系統(tǒng)時(shí)鐘（可以使用NTP服務(wù)器[80]）獲取的測(cè)量值，包含特定的時(shí)間戳更為準(zhǔn)確和魯棒。根據(jù)攝像機(jī)姿態(tài)w.r.t.車(chē)輛和道路以及車(chē)輛速度，每輛車(chē)可獲得一組N個(gè)測(cè)量值。要做出的第一個(gè)決定是使用測(cè)量之間的距離來(lái)獲得速度值。然而，大多數(shù)工作建議使用連續(xù)測(cè)量（在第t幀和第t+1幀）來(lái)計(jì)算每輛車(chē)的速度值。如下圖所示，該技術(shù)傾向于提供噪聲值，因?yàn)榫嚯x誤差與車(chē)輛行駛的距離具有相同的數(shù)量級(jí)：

在使用非連續(xù)圖像的情況下，論文區(qū)分了幾種技術(shù)。首先，使用測(cè)量之間的固定距離或區(qū)域（例如，使用指示線或區(qū)域的方法）。第二，使用測(cè)量之間的預(yù)定義幀數(shù)或固定時(shí)間間隔（它們是等效的）。其他方法使用車(chē)輛第一次和最后一次檢測(cè)之間的最大可能距離。最后，可以確定一些利用兩個(gè)不同攝像機(jī)[80]或無(wú)人機(jī)攝像機(jī)[106]的不同視角進(jìn)行車(chē)輛檢測(cè)的技術(shù)。測(cè)量積分一旦計(jì)算出車(chē)輛的所有N個(gè)速度值，下一步要做的決定是如何積分所有測(cè)量值以計(jì)算最終車(chē)輛速度。請(qǐng)注意，所有基于虛擬指示線或區(qū)域的方法都是基于單次觸發(fā)（N=1），因此嚴(yán)格來(lái)說(shuō)，不應(yīng)用測(cè)量積分，這種方法通常稱(chēng)為平均速度檢測(cè)。大多數(shù)方法執(zhí)行瞬時(shí)速度檢測(cè)，即計(jì)算車(chē)速并將其作為每對(duì)測(cè)量的輸出，無(wú)論是連續(xù)的還是非連續(xù)的。在某些情況下，瞬時(shí)速度使用不同的技術(shù)進(jìn)行濾波，如移動(dòng)平均[98]、多項(xiàng)式濾波[129]或使用特定跟蹤器（例如卡爾曼濾波器）。另一種常見(jiàn)方法是計(jì)算所有可用（N）速度測(cè)量值的平均值。在[80]中，僅使用對(duì)應(yīng)于最小系統(tǒng)速度誤差的最佳速度值計(jì)算平均值。

數(shù)據(jù)集和評(píng)測(cè)標(biāo)準(zhǔn)

1.數(shù)據(jù)集

相關(guān)數(shù)據(jù)集較少，主要包括 AI CITY CHALLENGE（英偉達(dá)）、BrnoCompSpeed、 UTFPR dataset、QMUL junction dataset等！

2.評(píng)測(cè)標(biāo)準(zhǔn)

為了測(cè)量系統(tǒng)產(chǎn)生的速度誤差，有必要使用度量來(lái)明確評(píng)估其準(zhǔn)確性。最常用的度量是絕對(duì)或相對(duì)平均絕對(duì)誤差（MAE），以百分比表示。MAE通常提供有其他變量，例如標(biāo)準(zhǔn)偏差或其他統(tǒng)計(jì)度量，以限制速度估計(jì)系統(tǒng)的精度。

除了MAE，還可以找到其他度量，其中計(jì)算數(shù)學(xué)函數(shù)的總誤差，包括并建模速度檢測(cè)系統(tǒng)的誤差源，如像素檢測(cè)誤差、長(zhǎng)度測(cè)量誤差或攝像機(jī)校準(zhǔn)誤差。利用這些已知誤差，以及一些誤差傳播技術(shù)，例如使用偏導(dǎo)數(shù)的不確定性傳播，可以精確地獲得總系統(tǒng)誤差。

最后，均方誤差（MSE）和均方根誤差（RMSE）的使用已在幾項(xiàng)工作中提出。MSE/RMSE使用這兩個(gè)值之間的平方差之和來(lái)測(cè)量估計(jì)值和被測(cè)量值之間的“距離”。在某些工程中，該方法用于測(cè)量相對(duì)距離誤差，最后測(cè)量速度誤差，即實(shí)際值與計(jì)算值之間的絕對(duì)差。