記憶泊車的頂層技術(shù)原理深度解析
相對(duì)于記憶行車而言,記憶泊車 MPA(Memory Parking Assist)可以看成是停車場區(qū)域內(nèi)的一個(gè)自動(dòng)駕駛功能,可幫助用戶按記憶的路線自動(dòng)巡航并泊入車位或自動(dòng)從車位泊出并巡航至泊出點(diǎn)。如下圖表示了記憶行車和記憶泊車在整個(gè)工作環(huán)境中的場景示意圖。
通常情況下,考慮到記憶泊車實(shí)際是一種低速自動(dòng)駕駛控制過程,因此需要在記憶泊車過程中設(shè)置一定的設(shè)計(jì)運(yùn)行范圍才能保證其記憶建圖和行駛控制具備可行性。比如,從控制邏輯上講在記憶泊車控制中如果遇到前方障礙物的情況,對(duì)于記憶行車而言,通常是采用剎車避障的方式進(jìn)行障礙物躲避。而記憶泊車則是通過轉(zhuǎn)向繞行的方式進(jìn)行障礙物躲避,從這一點(diǎn)上講也是記憶泊車相對(duì)于記憶行車來說十分不一樣的地方。此外,從整個(gè)靜態(tài)ODD上看,我們的記憶行車通常是不需要考慮太多的極端的要素的。只要不是傳感器本身的限制和遮擋都可以確保記憶行車控制的可行性。哪怕是類似內(nèi)部道路、施工路段這類場景也可以不必作為ODD范圍外需要考慮的要素,因?yàn)橄到y(tǒng)會(huì)根據(jù)識(shí)別的結(jié)果進(jìn)行適時(shí)更新,但匹配上記憶行車的行駛路徑方案相對(duì)比較單一。
1 記憶泊車技術(shù)設(shè)計(jì)要素
自動(dòng)記憶泊車是車輛自動(dòng)駕駛技術(shù)的重要應(yīng)用。相關(guān)技術(shù)中,為了實(shí)現(xiàn)自動(dòng)記憶泊車,一般需要先生成泊車地圖,泊車地圖一般包括停車路線和停車位。根據(jù)生成的泊車地圖,車輛可以自動(dòng)按照停車路線行駛并停入對(duì)應(yīng)的停車位,從而實(shí)現(xiàn)自動(dòng)記憶泊車。
記憶泊車的六個(gè)主要子功能包含記憶建圖、智能泊入、沿途車位識(shí)別、智能泊出、運(yùn)行過程中故障處理、動(dòng)靜態(tài)障礙物處理、視頻監(jiān)控等。
其功能核心主要是在使用智能泊入及智能泊出前利用泊車(環(huán)視攝像頭)或部分行車傳感器(前視攝像頭)進(jìn)行記憶泊車的局部地圖繪制,提前學(xué)習(xí)并建立智能泊入和智能泊出的路線地圖。建圖完成后,用戶需要使用所建立的地圖驅(qū)動(dòng)整個(gè)智能泊入、低速巡航及智能泊出控制。且整個(gè)過程中,用戶無需手動(dòng)控制車輛,但不能離開座位,整個(gè)泊車過程需要用戶監(jiān)控系統(tǒng)的運(yùn)行狀態(tài),必要時(shí)可對(duì)車輛實(shí)施制動(dòng)或轉(zhuǎn)向以接管車輛。如下圖表示了整個(gè)記憶泊車所涵蓋的功能范圍示意圖。
而對(duì)于記憶泊車功能而言,由于考慮到傳感器識(shí)別能力、系統(tǒng)控制能力等因素,通常是需要制定比較嚴(yán)格的ODD適用范圍,并且整個(gè)控制過程中,駕駛員對(duì)于整車控制是可以隨時(shí)介入的。如下圖列舉了幾個(gè)關(guān)鍵的ODD要素。
和記憶泊車系統(tǒng)類似,記憶行車實(shí)際上是一種針對(duì)宿主車輛中預(yù)先記錄的軌跡進(jìn)行智能輔助駕駛的控制過程。整個(gè)過程實(shí)際是包含低速巡航和輔助泊車的過程場景。智能泊車控制過程在最后一定的時(shí)間通常是允許用戶下車,通過手機(jī)短程遙控車輛過自動(dòng)泊入車位的,這一過程需要從遙控泊車模塊調(diào)動(dòng)相應(yīng)的控制過程。
整個(gè)記憶泊車的軟件架構(gòu)數(shù)據(jù)流圖表示如下:
以典型的泊車算法處理芯片為例,整個(gè)記憶泊車處理流程分為兩條主線:環(huán)視攝像頭輸入的數(shù)據(jù)通過TDA4上的VPAC模塊進(jìn)行ISP處理后,可以分兩步進(jìn)行分流,其中一路是通過C66模塊中的兩個(gè)DSP核分別進(jìn)行前處理和后處理,同時(shí)C7x/MMA上完成神經(jīng)網(wǎng)絡(luò)的實(shí)時(shí)處理。
2 泊車建圖與重定位原理
數(shù)據(jù)采集階段通過對(duì)整個(gè)停車場進(jìn)行分層全方位數(shù)據(jù)采集,并將建圖所需的前視視頻、環(huán)視視頻上傳至數(shù)據(jù)管理中心,通過泊車質(zhì)檢標(biāo)注系統(tǒng)進(jìn)行預(yù)處理生成相應(yīng)的時(shí)間戳信息、定位信息、傳感器標(biāo)定信息,并結(jié)合先前預(yù)置地圖信息PreMap(該預(yù)置地圖信息可以是由其他車型采集生成后由本車通過云端下載)生成兩套不同的感知模型信息。隨即生成的攝像頭模型數(shù)據(jù)信息和超聲波識(shí)別模型信息(分別為泊車軌跡信息和車位識(shí)別信息),隨后進(jìn)行數(shù)據(jù)后處理(對(duì)所有傳感器進(jìn)行時(shí)間同步、不同物體進(jìn)行物體關(guān)聯(lián)、泊車軌跡融合修正、車位識(shí)別修正等)。最后將生成的數(shù)據(jù)輸入地圖模型進(jìn)行有效的數(shù)據(jù)訓(xùn)練。
其中,在泊車建圖過程中通常需要云端通過預(yù)設(shè)的置信度算法對(duì)所建立的地圖預(yù)設(shè)置信度,在泊車激活試用階段,通過將符合預(yù)設(shè)置信度的泊車地圖直接下發(fā)至車端,使車端可以直接根據(jù)泊車地圖進(jìn)行自動(dòng)記憶泊車。這里需要說明的是,預(yù)設(shè)泊車地圖置信度的算法實(shí)際是通過人工質(zhì)檢的方式進(jìn)行篩選和設(shè)置(又稱質(zhì)檢),對(duì)置信度的程度進(jìn)行有效的編號(hào)。這類質(zhì)檢過程實(shí)際類似于BEV建圖過程中的真值標(biāo)注一樣,如果待質(zhì)檢的泊車地圖的數(shù)量較多,由人工對(duì)每一份泊車地圖進(jìn)行質(zhì)檢將產(chǎn)生大量的人力成本,同時(shí)影響質(zhì)檢效率。因此,考慮自動(dòng)化的質(zhì)檢方式也顯得比較重要。如上圖所示表示了整個(gè)記憶泊車建圖至圖像質(zhì)檢的整個(gè)過程。
如下圖表示的是一種典型的泊車建圖與重定位的示意圖。其中輸入端包含4枚環(huán)視感知的攝像頭,在建圖階段,考慮了多個(gè)環(huán)視攝像頭之間可能產(chǎn)生深度點(diǎn)云可以對(duì)其進(jìn)行距離估計(jì),并將對(duì)應(yīng)的建圖和位置進(jìn)行優(yōu)化。其生成的軌跡進(jìn)行存儲(chǔ),并把相應(yīng)的接口暴露出來供其他模塊調(diào)用。此外,該四個(gè)環(huán)視視頻將作為整個(gè)建圖的特征提取輸入,通過云端接口下載已生成的地圖數(shù)據(jù),匹配到被訓(xùn)練過的建圖軌跡,并進(jìn)行有效的重定位、且查詢到當(dāng)前位置并調(diào)整整個(gè)車身姿態(tài)。最后,通過車輛軌跡規(guī)劃和控制單元進(jìn)行整車控制響應(yīng)。
注意,對(duì)于這里所建立的地圖并非高精地圖,也非導(dǎo)航地圖。當(dāng)然泊車建圖的距離相對(duì)于行車來說是小很多,因?yàn)檫@類路徑需要包含的信息量還是比較大的,且不同車位、泊入泊出過程都需要同步建立不同的地圖。地圖信息需要重點(diǎn)包括如下一些信息:
①車道標(biāo)志信息:車輛運(yùn)行軌跡信息(如x、y、z坐標(biāo)),車位信息(四個(gè)角點(diǎn)x,y,z坐標(biāo))這里的Z軸信息主要是指跨層之間的信息。此外還有一些停車場的路標(biāo)信息:如路口、柱子、減速帶、坡道;
②車輛定位特征信息:建圖起始點(diǎn)和終點(diǎn)GPS信息;
③停車位確認(rèn)和新增停車位的植入信息:即目標(biāo)車位以及行駛到目標(biāo)車位中間可能檢測到的對(duì)應(yīng)車位。
3 泊車地圖存儲(chǔ)和管理
與記憶行車存儲(chǔ)方式類似,記憶泊車的存儲(chǔ)單元也是位于智能駕駛域控制器中,可以在劃定的EMMC中,且整個(gè)地圖存儲(chǔ)過程是在用戶完成建圖后自動(dòng)觸發(fā)存儲(chǔ)。地圖可以同步選擇存儲(chǔ)在云端,如果考慮車車互聯(lián),該地圖也可以作為聯(lián)網(wǎng)其他車輛的的泊車地圖。當(dāng)網(wǎng)絡(luò)信號(hào)良好的情況下,且自車通過定位到自身處于對(duì)應(yīng)的停車場時(shí),便可以啟動(dòng)后臺(tái)下載程序控制車輛優(yōu)先從云端下載地圖,生產(chǎn)和存儲(chǔ)。
之前提到,地圖建立過程中是需要對(duì)地圖的張數(shù)限制最大值的。那么超過最大值的情況就需要向前進(jìn)行地圖覆蓋。
建圖過程不能均保證建圖成功,當(dāng)建圖失敗時(shí),該地圖路線將不能用于泊車控制,這是需要從后臺(tái)啟動(dòng)日志記錄功能,將建圖失敗的原因進(jìn)行詳細(xì)記錄。同時(shí),系統(tǒng)前臺(tái)需要通過HMI提示用戶建圖失敗。
4 記憶泊車工作流程原理
為實(shí)現(xiàn)智能泊入和智能泊出功能,用戶需先在停車場內(nèi)駕駛車輛進(jìn)行智能泊入和智能泊出路線學(xué)習(xí),智駕車后臺(tái)系統(tǒng)存儲(chǔ)對(duì)應(yīng)記憶的地圖路線。
整個(gè)建圖過程中通常需要對(duì)泊入路線、泊出路線、最大允許的倒車距離提出相應(yīng)的建圖要求。比如泊入過程建圖時(shí),需要考慮整個(gè)停車場支持從不同的停車入口進(jìn)入,且均可以建立不同泊車路線的地圖。而泊出過程則需要支持統(tǒng)一停車場的不同車位建圖。這個(gè)過程需要考慮統(tǒng)一停車場內(nèi)對(duì)不同停車位作為起點(diǎn)均可建立一張泊車路線圖。
整個(gè)泊車流程說明如下:
Step1:智駕車輛駛?cè)胪\噲鰞?nèi),通過車機(jī)系統(tǒng)激活泊車類型(按鍵/語音)為泊入;
Step2:車機(jī)系統(tǒng)需要顯示記憶泊車功能界面,用戶需要根據(jù)提示手動(dòng)駕駛車輛前往目標(biāo)車位;
Step3:到達(dá)目標(biāo)車位附近后,用戶可以直接撥入車位,并掛入P檔。也可以在車機(jī)系統(tǒng)上點(diǎn)擊確認(rèn)識(shí)別到車位;
Step4:控制車輛泊入后,系統(tǒng)通過后臺(tái)自動(dòng)驗(yàn)圖并保存對(duì)應(yīng)所建立的地圖數(shù)據(jù);
Step5:建圖成功后,如果駕駛員繼續(xù)選擇泊車召喚建圖,則進(jìn)入Step7泊出建圖流程。否則,此次建圖結(jié)束;
Step6:接收到駕駛員輸入的建圖類型為泊出請(qǐng)求時(shí),駕駛員可以手動(dòng)駕駛汽車前往泊出點(diǎn);此時(shí)系統(tǒng)確認(rèn)完駕駛員此次泊出過程結(jié)束時(shí),系統(tǒng)后臺(tái)生產(chǎn)并檢驗(yàn)此地圖數(shù)據(jù)。
這里需要注意的是,智能泊入和泊出需要分開建立不同的兩張圖,泊入和泊出地圖會(huì)由一個(gè)屬性相互關(guān)聯(lián)。建圖過程需滿足建圖距離、車速、以及建圖算法匹配的要求。通常單程(泊入或泊出)建圖距離不超過一定值(比如2km),建圖過程中車機(jī)系統(tǒng)可以實(shí)時(shí)的顯示建圖距離,并適時(shí)的提醒駕駛員。此外,如果考慮建圖的有效性和性能,通常也對(duì)駕駛速度有一定要求(一般小于20kph),如果長期超速超過一定的時(shí)間閾值,則提示駕駛員超速退出。并且,根據(jù)不同的車位信息可以觸發(fā)建立不同的地圖,這樣的地圖數(shù)量實(shí)際上是有一定的要求的。比如最多可以存儲(chǔ)10張地圖用于標(biāo)識(shí)10個(gè)車位信息。