車道是具有高級(jí)語(yǔ)義的交通標(biāo)志，特別是在視覺(jué)導(dǎo)航系統(tǒng)中尤其重要。檢測(cè)車道可以使許多應(yīng)用受益，例如自動(dòng)駕駛和高級(jí)駕駛員輔助系統(tǒng)（ADAS）中的視覺(jué)導(dǎo)航就是一個(gè)典型的應(yīng)用，它可以幫助智能車輛更好地進(jìn)行自車定位并更安全地行駛。

然而，車道檢測(cè)擁有特定的局部模式，需要實(shí)時(shí)預(yù)測(cè)網(wǎng)絡(luò)圖像中的車道信息，更需要詳細(xì)的低級(jí)特征才能準(zhǔn)確定位。因此，可以說(shuō)車道檢測(cè)是計(jì)算機(jī)視覺(jué)中一項(xiàng)重要但具有挑戰(zhàn)性的任務(wù)。

使用不同的特征級(jí)別對(duì)于準(zhǔn)確的車道檢測(cè)非常重要，但折現(xiàn)工作仍處于探索階段。本文介紹了跨層細(xì)化網(wǎng)絡(luò)（CLRNet），旨在充分利用到車道檢測(cè)中的高級(jí)和低級(jí)特征。首先，通過(guò)檢測(cè)具有高級(jí)語(yǔ)義特征的車道，然后根據(jù)低級(jí)特征進(jìn)行細(xì)化。這種方式可以利用更多的上下文信息來(lái)檢測(cè)車道，同時(shí)利用本地詳細(xì)的車道特征來(lái)提高定位精度。此外，通過(guò) ROIGather 的方式來(lái)收集全局上下文，可以進(jìn)一步增強(qiáng)車道的特征表示。除了設(shè)計(jì)全新的網(wǎng)絡(luò)之外，還引入了線路 IoU 損失，它將車道線作為一個(gè)整體單元進(jìn)行回歸，以提高定位精度。

如前所述，由于Lane具有高級(jí)語(yǔ)義，但它擁有特定的局部模式，需要詳細(xì)的低級(jí)特征才能準(zhǔn)確定位。如何在 CNN 中有效利用不同的特征級(jí)別仍然是一個(gè)問(wèn)題。如下圖 1（a）所示，地標(biāo)和車道線具有不同的語(yǔ)義，但它們具有相似的特征（例如長(zhǎng)白線）。如果沒(méi)有高級(jí)語(yǔ)義和全局上下文，很難區(qū)分它們。另一方面，地域性也很重要，巷子又長(zhǎng)又細(xì)，當(dāng)?shù)馗窬趾?jiǎn)單。

此外，在圖1（b）中顯示了高級(jí)特征的檢測(cè)結(jié)果，盡管檢測(cè)到了車道，但其位置并不精確。因此，低層信息和高層信息可以互補(bǔ)來(lái)實(shí)現(xiàn)準(zhǔn)確的車道檢測(cè)。

車道檢測(cè)中的另一個(gè)常見(jiàn)問(wèn)題是沒(méi)有車道存在的視覺(jué)信息。如上圖1（c）所示，車道被汽車占據(jù)，而在圖1（d）中，由于極端的光照條件，車道很難識(shí)別。

相關(guān)工作

以前的工作要么對(duì)車道的局部幾何進(jìn)行建模并將其集成到全局結(jié)果中，要么構(gòu)建具有全局特征的全連接層來(lái)預(yù)測(cè)車道。這些檢測(cè)器已經(jīng)證明了局部或全局特征對(duì)于車道檢測(cè)的重要性，但沒(méi)有同時(shí)利用好這兩個(gè)特征，因此可能產(chǎn)生不準(zhǔn)確的檢測(cè)性能。比如，SCNN和RESA提出了一種消息傳遞機(jī)制來(lái)收集全局上下文，但這些方法執(zhí)行像素級(jí)預(yù)測(cè)并且不將車道作為一個(gè)整體單元。因此，它們的性能落后于許多最先進(jìn)的探測(cè)器。

對(duì)于車道檢測(cè)來(lái)說(shuō)，低級(jí)和高級(jí)特征是互補(bǔ)的，基于此，本文提出了一種新穎的網(wǎng)絡(luò)架構(gòu)（CLRNet）來(lái)充分利用低級(jí)和高級(jí)特征進(jìn)行車道檢測(cè)。首先，通過(guò)ROIGather 收集全局上下文來(lái)進(jìn)一步增強(qiáng)車道特征的表示，也可以將其插入其他網(wǎng)絡(luò)中。其次，提出為車道檢測(cè)量身定制的線IoU（LIoU）損失，將車道作為整個(gè)單元進(jìn)行回歸，并顯著提高性能。為了更好地比較不同探測(cè)器的定位精度，還采用了新的mF1 指標(biāo)。

根據(jù)車道的表示，目前基于CNN的車道檢測(cè)可以分為三類：基于分割的方法，基于錨的方法，以及基于參數(shù)的方法。

1、基于分割的方法

這類算法通常采用逐像素預(yù)測(cè)公式，即將車道檢測(cè)視為語(yǔ)義分割任務(wù)。SCNN提出了一種消息傳遞機(jī)制來(lái)解決非視覺(jué)能檢測(cè)到的目標(biāo)問(wèn)題，該機(jī)制捕獲了車道中呈現(xiàn)的強(qiáng)空間關(guān)系。SCNN顯著提高了車道檢測(cè)性能，但該方法對(duì)于實(shí)時(shí)應(yīng)用來(lái)說(shuō)速度較慢。RESA提出了一種實(shí)時(shí)特征聚合模塊，使網(wǎng)絡(luò)能夠收集全局特征并提高性能。在CurveLane-NAS中，使用神經(jīng)架構(gòu)搜索（NAS）來(lái)尋找更好的網(wǎng)絡(luò)來(lái)捕獲準(zhǔn)確的信息，以有利于曲線車道的檢測(cè)。然而，NAS 的計(jì)算成本極其昂貴，并且需要花費(fèi)大量的 GPU 時(shí)間。這些基于分割的方法效率低下且耗時(shí)，因?yàn)樗鼈儗?duì)整個(gè)圖像執(zhí)行像素級(jí)預(yù)測(cè)，并且不將車道視為一個(gè)整體單元。

2、基于錨點(diǎn)的方法

車道檢測(cè)中基于錨的方法可以分為兩類，例如基于線錨的方法和基于行錨的方法。基于線錨的方法采用預(yù)定義的線錨作為參考來(lái)回歸準(zhǔn)確的車道。Line-CNN是在車道檢測(cè)中使用線和弦的開(kāi)創(chuàng)性工作。LaneATT提出了一種新穎的基于錨的注意力機(jī)制，可以聚合全局信息。它實(shí)現(xiàn)了最先進(jìn)的結(jié)果，并顯示出高功效和效率。SGNet引入了一種新穎的消失點(diǎn)引導(dǎo)錨生成器，并添加了多個(gè)結(jié)構(gòu)引導(dǎo)以提高性能。對(duì)于基于行錨的方法，它預(yù)測(cè)圖像上每個(gè)預(yù)定義行的可能單元格。UFLD首先提出了一種基于行錨的車道檢測(cè)方法，并采用輕量級(jí)主干網(wǎng)來(lái)實(shí)現(xiàn)高推理速度。雖然簡(jiǎn)單、快速，但其整體性能并不好。CondLaneNet引入了一種基于條件卷積和基于行錨的公式的條件車道檢測(cè)策略，即它首先定位車道線的起點(diǎn)，然后執(zhí)行基于行錨的車道檢測(cè)。但在一些復(fù)雜場(chǎng)景下，起點(diǎn)難以識(shí)別，導(dǎo)致性能相對(duì)較差。

3、基于參數(shù)的方法

與點(diǎn)回歸不同，基于參數(shù)的方法用參數(shù)對(duì)車道曲線進(jìn)行建模，并對(duì)這些參數(shù)進(jìn)行回歸以檢測(cè)車道。PolyLaneNet采用多項(xiàng)式回歸問(wèn)題并取得了很高的效率。LSTR將道路結(jié)構(gòu)和相機(jī)位姿考慮在內(nèi)來(lái)對(duì)車道形狀進(jìn)行建模，然后將Transformer引入車道檢測(cè)任務(wù)以獲得全局特征。

基于參數(shù)的方法需要回歸的參數(shù)較少，但對(duì)預(yù)測(cè)參數(shù)敏感，例如，高階系數(shù)的錯(cuò)誤預(yù)測(cè)可能會(huì)導(dǎo)致車道形狀的變化。盡管基于參數(shù)的方法具有很快的推理速度，但它們?nèi)匀浑y以實(shí)現(xiàn)更高的性能。

跨層細(xì)化網(wǎng)絡(luò)（CLRNet）的方法論概述

在本文中，介紹了一種新的框架——跨層細(xì)化網(wǎng)絡(luò)（CLRNet），它充分利用低級(jí)和高級(jí)特征進(jìn)行車道檢測(cè)。具體來(lái)說(shuō)，首先對(duì)高語(yǔ)義特征進(jìn)行檢測(cè)以粗略地定位車道。然后再根據(jù)細(xì)節(jié)特征逐步細(xì)化車道位置和特征提取可以獲得高精度的檢測(cè)結(jié)果（即更精確的位置）。為了解決車道的非視覺(jué)所能探測(cè)的區(qū)域盲區(qū)問(wèn)題，引入了 ROI收集器，通過(guò)建立ROI車道特征與整個(gè)特征圖之間的關(guān)系來(lái)捕獲更多的全局上下文信息。此外，還定義了車道線的交并比 IoU，并提出 Line IoU (LIoU) 損失，將車道作為一個(gè)整體單元進(jìn)行回歸，與標(biāo)準(zhǔn)損失（即 smooth-l1 損失）相比，顯著提高了性能。

圖 2. CLRNet 概述

如上圖表示了本文介紹的CLRNet算法進(jìn)行車道線IoU處理的整個(gè)前端網(wǎng)絡(luò)。其中，圖(a)網(wǎng)絡(luò)從 FPN 結(jié)構(gòu)生成特征圖。隨后，每個(gè)車道先驗(yàn)將從高級(jí)特征細(xì)化為低級(jí)特征。圖(b)表示每個(gè)頭將利用更多上下文信息為車道獲取先驗(yàn)特征。圖(c)則表示車道先驗(yàn)的分類和回歸。而本文所提出的 Line IoU 損失有助于進(jìn)一步提高回歸性能。

如下將更加詳細(xì)說(shuō)明本文介紹的算法工作過(guò)程。

1、車道網(wǎng)絡(luò)表示

眾所周知，實(shí)際道路中的車道又細(xì)又長(zhǎng)，這種特征表示是具有很強(qiáng)的形狀先驗(yàn)信息的，因此預(yù)定義的車道先驗(yàn)可以幫助網(wǎng)絡(luò)更好地定位車道。在常規(guī)的目標(biāo)檢測(cè)中，目標(biāo)由矩形框表示。然而，無(wú)論何種矩形框卻并不適合表示長(zhǎng)線。這里使用等距的二維點(diǎn)作為車道表示。具體來(lái)說(shuō)，車道表示為點(diǎn)序列，即 P = {(x1, y1), ···,(xN , yN )}。點(diǎn)的 y 坐標(biāo)在圖像垂直方向上均勻采樣，即，其中 H 是圖像高度。因此，x坐標(biāo)與相應(yīng)的相關(guān)聯(lián)，這里將這種表示稱為 Lane 優(yōu)先。每個(gè)車道先驗(yàn)將由網(wǎng)絡(luò)預(yù)測(cè)，并由四個(gè)部分組成：

(1) 前景和背景概率。

(2) 車道長(zhǎng)度優(yōu)先。

(3) 車道線的起點(diǎn)與先驗(yàn)車道的 x 軸之間的角度（稱為 x、y 和 θ）。

(4) N 個(gè)偏移量，即預(yù)測(cè)與其真實(shí)值之間的水平距離。

2、跨層細(xì)化動(dòng)機(jī)

在神經(jīng)網(wǎng)絡(luò)中，深層的高級(jí)特征對(duì)具有更多語(yǔ)義特征的道路目標(biāo)表現(xiàn)出更強(qiáng)烈的反饋，而淺層的低級(jí)特征則具有更多的局部上下文信息。算法允許車道對(duì)象訪問(wèn)高級(jí)特征可以幫助利用更有用的上下文信息，例如區(qū)分車道線或地標(biāo)。同時(shí)，精細(xì)的細(xì)節(jié)特征有助于以高定位精度檢測(cè)車道。在對(duì)象檢測(cè)中，它構(gòu)建特征金字塔以利用ConvNet特征層次結(jié)構(gòu)的金字塔形狀，并將不同尺度的對(duì)象分配給不同的金字塔級(jí)別。然而，很難直接將一條車道僅分配給一個(gè)級(jí)別，因?yàn)楦呒?jí)和低級(jí)功能對(duì)于車道都至關(guān)重要。受 Cascade RCNN的啟發(fā)，可以將車道對(duì)象分配給所有級(jí)別，并按順序來(lái)檢測(cè)各個(gè)車道。

特別是，可以檢測(cè)具有高級(jí)特征的車道，以粗略地定位車道。根據(jù)檢測(cè)到的已知車道，就可以使用更詳細(xì)的特征來(lái)細(xì)化它們。

3、細(xì)化結(jié)構(gòu)

整個(gè)算法的目標(biāo)是利用 ConvNet 的金字塔特征層次結(jié)構(gòu)（具有從低級(jí)到高級(jí)的語(yǔ)義），并構(gòu)建一個(gè)始終具有高級(jí)語(yǔ)義的特征金字塔。以殘差網(wǎng)絡(luò)ResNet作為主干，使用{L0, L1, L2}表示 FPN 生成的特征級(jí)別。

如圖2所示，跨層細(xì)化是從最高級(jí)別L0開(kāi)始的，且逐漸接近L2。通過(guò)使用{R0,R1,R2}來(lái)表示相應(yīng)的細(xì)化。然后可以繼續(xù)構(gòu)建一系列的細(xì)化結(jié)構(gòu)：

其中 t = 1, · · · , T, T 是細(xì)化的總數(shù)。

整個(gè)方法從具有高語(yǔ)義的最高層執(zhí)行檢測(cè)，Pt是車道先驗(yàn)的參數(shù)（起點(diǎn)坐標(biāo)x、y和角度θ），它是受啟發(fā)且可自學(xué)習(xí)的。對(duì)于第一層L0，P0均勻分布在圖像平面上，細(xì)化Rt以Pt作為輸入以獲得ROI車道特征，然后執(zhí)行兩個(gè)FC層以獲得細(xì)化參數(shù)Pt。逐步細(xì)化車道先驗(yàn)信息和特征信息提取對(duì)于跨層細(xì)化是非常重要。注意，此方法不限于 FPN 結(jié)構(gòu)，僅使用 ResNet或采用 PAFPN也是合適的。

4、ROI 收集

在為每個(gè)特征圖分配車道先驗(yàn)信息后，可以使用 ROI Align模塊獲得車道先驗(yàn)的特征。然而，這些特征的上下文信息仍然不夠。在某些情況下，車道實(shí)例可能會(huì)被占用或在極端照明條件下會(huì)變得模糊。在這種情況下，可能沒(méi)有局部視覺(jué)實(shí)時(shí)跟蹤數(shù)據(jù)來(lái)表明車道的存在性。為了確定一個(gè)像素是否屬于車道，需要查看附近的特征。最近的一些研究也表明，如果充分利用遠(yuǎn)程依賴關(guān)系，性能可以得到提高。因此，可以收集更多有用的上下文信息來(lái)更好地學(xué)習(xí)車道特征。

為此，先沿車道進(jìn)行卷積計(jì)算，這樣，車道先驗(yàn)中的每個(gè)像素都可以收集附近像素的信息，并且可以根據(jù)該信息對(duì)占用的部分進(jìn)行強(qiáng)化。此外，還通過(guò)建立了車道先驗(yàn)特征和整個(gè)特征圖之間的關(guān)系。因此，可以利用更多的上下文信息來(lái)學(xué)習(xí)更好的特征表示。

整個(gè)ROI搜集模塊結(jié)構(gòu)重量輕且易于實(shí)施。因?yàn)?，它以特征圖和車道先驗(yàn)作為輸入，每個(gè)車道先驗(yàn)有 N 個(gè)點(diǎn)。與邊界框的 ROI Align 不同，對(duì)于每個(gè)車道先驗(yàn)信息搜集，需要先按照 ROI Align得到車道先驗(yàn)的 ROI 特征 (Xp ∈ R^C×Np )。從車道先驗(yàn)中均勻采樣 Np 點(diǎn)，并使用雙線性插值來(lái)計(jì)算這些位置處輸入特征的精確值。對(duì)于L1、L2的ROI特征，可以通過(guò)連接前幾層的 ROI 特征來(lái)增強(qiáng)特征表示。通過(guò)對(duì)提取的 ROI 特征進(jìn)行卷積可以收集每個(gè)車道像素的附近特征。為了節(jié)省內(nèi)存，這里使用全連接來(lái)進(jìn)一步提取車道先驗(yàn)特征（Xp ∈ R^C×1），其中，特征圖的大小調(diào)整為 X_f ∈ R^C×H×W ，可以繼續(xù)展平為  X_f ∈R^C×HW 。

為了收集車道具有先驗(yàn)特征的全局上下文信息，需要首先計(jì)算 ROI 車道先驗(yàn)特征 (Xp) 和全局特征圖 (Xf) 之間的注意力矩陣 W，其寫(xiě)為：

其中 f 是歸一化函數(shù) soft max。聚合后的特征可寫(xiě)為：

輸出 G 反映了 Xf 對(duì) Xp 的疊加值，它是從 Xf 的所有位置中選擇的。最后，將輸出添加到原始輸入 Xp 上。

為了進(jìn)一步演示 ROIGather 在網(wǎng)絡(luò)中的工作原理，在圖3 中可視化了注意力圖的ROIGather 分析。它顯示了車道先驗(yàn)的 ROI 特征和整個(gè)特征圖之間的注意力。橙色線是之前對(duì)應(yīng)的車道，紅色區(qū)域?qū)?yīng)于注意力權(quán)重的高分。

圖 3. ROIGather 中注意力權(quán)重的圖示

如上圖顯示了車道先驗(yàn)（橙色線）的 ROI 特征與整個(gè)特征圖之間的注意力權(quán)重。顏色越亮，權(quán)重值越大。值得注意的是，所提出的 ROIGather 可以有效地收集具有豐富語(yǔ)義信息的全局上下文，即使在遮擋下也能捕獲前景車道的特征。

5、車道線交并比IoU 損失

如上所述，車道先驗(yàn)由需要與其基本事實(shí)回歸的離散點(diǎn)組成。常用的距離損失（如 smooth-l1）可用于對(duì)這些點(diǎn)進(jìn)行回歸。然而，這種損失將點(diǎn)作為單獨(dú)的變量，這是一個(gè)過(guò)于簡(jiǎn)單化的假設(shè)，導(dǎo)致回歸不太準(zhǔn)確。

與距離損失相反，并集交集（IoU）可以將車道先驗(yàn)作為一個(gè)整體單元進(jìn)行回歸，并且它是針對(duì)評(píng)估指標(biāo)量身定制的。這里推導(dǎo)出一種簡(jiǎn)單有效的算法來(lái)計(jì)算線 IoU (LIoU) 損失。

如下圖所示，線交并比 IoU可以通過(guò)根據(jù)采樣的 xi 位置對(duì)擴(kuò)展段的 IoU 進(jìn)行積分來(lái)計(jì)算。

圖 4. 線 IoU 圖示

如上圖所示的公式中顯示，從線段交并比 IoU 的定義開(kāi)始引入線 IoU 損失，即兩條線段之間相互作用與并集的比率。對(duì)于如圖 4 所示的預(yù)測(cè)車道中的每個(gè)點(diǎn)，首先將其（x^p_i ）以半徑 e 延伸為線段。然后，可以計(jì)算延長(zhǎng)線段與其groundtruth之間的IoU，寫(xiě)為：

其中 x^p_i - e, x^p_i  + e 是 x^p_i  的擴(kuò)展點(diǎn)，x^g_i -e，x^g_i + e 是對(duì)應(yīng)的groundtruth點(diǎn)。請(qǐng)注意，d⁰_i可以為負(fù)值，這使得在非重疊線段的情況下可以進(jìn)行有效的信息優(yōu)化。

那么LIoU可以被認(rèn)為是無(wú)限線點(diǎn)的組合。為了簡(jiǎn)化表達(dá)式并易于計(jì)算，將其轉(zhuǎn)換為離散形式，

然后，LIoU損失定義為：

其中?1 ≤ LIoU ≤1，當(dāng)兩條線完美重疊時(shí)，則LIoU = 1，當(dāng)兩條線相距較遠(yuǎn)時(shí)，LIoU收斂于-1。

通過(guò)Line IoU損失來(lái)計(jì)算車道線關(guān)聯(lián)關(guān)系有兩個(gè)優(yōu)點(diǎn)：（1）它簡(jiǎn)單且可微分，很容易實(shí)現(xiàn)并行計(jì)算。(2)它將車道作為一個(gè)整體進(jìn)行預(yù)測(cè)，這有助于提高整體性能。

6、訓(xùn)練和推理細(xì)節(jié)

首先，是進(jìn)行正向樣本選擇。

在訓(xùn)練過(guò)程中，每個(gè)地面真實(shí)車道作為正樣本被動(dòng)態(tài)分配一個(gè)或多個(gè)預(yù)測(cè)車道。特別是，根據(jù)分配成本對(duì)預(yù)測(cè)車道進(jìn)行排序，其定義為：

這里 Ccls 是預(yù)測(cè)和標(biāo)簽之間的焦點(diǎn)成本。Csim 是預(yù)測(cè)車道和真實(shí)車道之間的相似成本。它由三部分組成，Cdis表示所有有效車道點(diǎn)的平均像素距離，Cxy表示起點(diǎn)坐標(biāo)的距離，Ctheta表示theta角的差值，它們都?xì)w一化為[0, 1]。wcls和wsim是每個(gè)定義分量的權(quán)重系數(shù)。每個(gè)地面實(shí)況車道都根據(jù) Cassign 分配有動(dòng)態(tài)數(shù)量（top-k）的預(yù)測(cè)車道。

其次，是訓(xùn)練損失。

訓(xùn)練損失包括分類損失和回歸損失，其中，回歸損失僅對(duì)指定的樣本進(jìn)行計(jì)算。總體損失函數(shù)定義為：

Lcls 是預(yù)測(cè)和標(biāo)簽之間的焦點(diǎn)損失，Lxytl 是起點(diǎn)坐標(biāo)、theta 角度和車道長(zhǎng)度回歸的 smooth-l1 損失，LLIoU 是預(yù)測(cè)車道和地面實(shí)況之間的線 IoU 損失。通過(guò)添加輔助分割損失的方式，僅在訓(xùn)練期間使用，沒(méi)有推理成本。

最后，是進(jìn)行有效推理。通過(guò)設(shè)置一個(gè)帶有分類分?jǐn)?shù)的閾值來(lái)過(guò)濾背景車道（低分車道先驗(yàn)），并使用 nms 來(lái)刪除之后的高重疊車道。如果使用一對(duì)一分配，即設(shè)置 top-k = 1，這里也可以是無(wú) nms 的。

總結(jié)

在本文中，我們提出了用于車道檢測(cè)的跨層細(xì)化網(wǎng)絡(luò)（CLRNet）。CLRNet 可以利用高級(jí)特征來(lái)預(yù)測(cè)車道，同時(shí)利用局部詳細(xì)特征來(lái)提高定位精度。為了解決車道存在的視覺(jué)證據(jù)不足的問(wèn)題，提出通過(guò) ROIGather 建立與所有像素的關(guān)系來(lái)增強(qiáng)車道特征表示。為了將車道作為一個(gè)整體進(jìn)行回歸，提出了為車道檢測(cè)量身定制的 Line IoU 損失，與標(biāo)準(zhǔn)損失（即 smooth-l1 損失）相比，它大大提高了性能。本方法在三個(gè)車道檢測(cè)基準(zhǔn)數(shù)據(jù)集（即 CULane、LLamas 和 Tusimple）上進(jìn)行評(píng)估。所提出的方法在三個(gè)車道檢測(cè)基準(zhǔn)上大大優(yōu)于其他最先進(jìn)的方法（CULane、Tusimple和 LLAMAS）。