圖像匹配

應(yīng)用：

目標(biāo)識(shí)別、目標(biāo)跟蹤、超分辨率影像重建、視覺導(dǎo)航、圖像拼接、三維重建、視覺定位、場(chǎng)景深度計(jì)算。

方法：

基于深度學(xué)習(xí)的特征點(diǎn)匹配算法、實(shí)時(shí)匹配算法、3維點(diǎn)云匹配算法、共面線點(diǎn)不變量匹配算法，以及基于深度學(xué)習(xí)的圖像區(qū)域匹配等。

分類：

局部不變特征點(diǎn)匹配、直線匹配、區(qū)域匹配。

Part1：局部不變特征點(diǎn)匹配-2D
1. 什么是圖像特征點(diǎn)？- 關(guān)鍵點(diǎn)+描述子

關(guān)鍵點(diǎn)：指特征點(diǎn)在圖像中的位置，具有方向、尺度等信息；

描述子：描述子通常是一個(gè)向量，描述關(guān)鍵點(diǎn)鄰域的像素信息。

2. 如何進(jìn)行特征點(diǎn)匹配？- 人工設(shè)計(jì)檢測(cè)器

在向量空間對(duì)兩個(gè)描述子進(jìn)行比較，距離相近則判定為同一個(gè)特征點(diǎn)。

角點(diǎn)、邊緣點(diǎn)等都可以作為潛在特征點(diǎn)：

SIFT總結(jié)【5】：許允喜等，對(duì)局部圖像描述符進(jìn)行分析描述，對(duì)這類方法的計(jì)算復(fù)雜度、評(píng)價(jià)方法和應(yīng)用領(lǐng)域予以總結(jié)。

SIFT總結(jié)【4】：劉立等，對(duì) SIFT 算法的演變以及在不同領(lǐng)域的典型應(yīng)用進(jìn)行了較為全面的論述，并比較了各類算法的優(yōu)缺點(diǎn)。

SIFT算法改進(jìn)【9】【10】【11】：針對(duì)算法時(shí)間復(fù)雜度高，PCA-SIFT, Surf, SSIF。

SIFT算法改進(jìn)【12】：對(duì)彩色圖 像進(jìn)行處理的 CSIFT( colored SIFT)。

SIFT算法改進(jìn)【13】：使用對(duì)數(shù)極坐標(biāo)分級(jí)結(jié)構(gòu)的 GLOH( gradient location and orientation histogram)。

SIFT算法改進(jìn)【14】：具有仿射不變性的ASFIT( affine SIFT)。

Fast【2】：通過鄰域像素對(duì)比進(jìn)行特征點(diǎn)檢測(cè)并引入機(jī)器學(xué)習(xí)加速這一過程，可應(yīng)用在對(duì)實(shí)時(shí)性要求較高的場(chǎng)合，如視頻監(jiān)控中的目標(biāo)識(shí)別。由于 FAST 僅處理單一尺度圖像，且檢測(cè)的不僅僅是“角點(diǎn)”這一特征，還可以檢測(cè)到其他符合要求的特征點(diǎn)，如孤立的噪點(diǎn)等。當(dāng)圖像中噪點(diǎn)較多時(shí)會(huì)產(chǎn)生較多外點(diǎn)，導(dǎo)致魯棒性下降。

Harris【1】：通過兩個(gè)正交方向上強(qiáng)度的變化率對(duì)角點(diǎn)進(jìn)行定義，其本身存在尺度固定、像素定位精度低、偽角點(diǎn)較多和計(jì)算量大等問題。

Harris改進(jìn)算法【6】：將多分辨率思想引入 Harris 角點(diǎn)，解決了Harris算法不具有尺度變化的問題。

Harris改進(jìn)算法【7】：在 Harris 算法中兩次篩選候選點(diǎn)集，利用最小二乘加權(quán)距離法實(shí)現(xiàn)角點(diǎn)亞像素定位，大幅度提高角點(diǎn)檢測(cè)效率和精度。

Harris改進(jìn)算法【8】：將灰度差分及模板與 Harris 算法相結(jié)合，解決了 Harris 算法中存在較多偽角點(diǎn)和計(jì)算量大等問題。

角點(diǎn)檢測(cè)算法 - 最常用：基于圖像灰度的方法。

鄰域像素檢測(cè)。

SIFT【3】：不再局限于對(duì)角點(diǎn)檢測(cè)。

3. 如何進(jìn)行特征點(diǎn)匹配？

3.1 深度學(xué)習(xí)特征檢測(cè)器 - 局部特征點(diǎn)的重復(fù)檢測(cè)

FAST-ER算法【15】：把特征點(diǎn)檢測(cè)器定義為一種檢測(cè)高重復(fù)點(diǎn)的三元決策樹，并采用模擬退火算法對(duì)決策樹進(jìn)行優(yōu)化，從而提高檢測(cè)重復(fù)率。由于在每次迭代過程中，都需要對(duì)重新應(yīng)用的新決策樹進(jìn)行檢測(cè)，且其性能受到初始關(guān)鍵點(diǎn)檢測(cè)器的限制，降低了該算法的魯棒性。

時(shí)間不變特征檢測(cè)器( TILDE) 【16】：Verdie等人提出，能夠較好地對(duì)由天氣、季節(jié)、時(shí)間等因素引起的劇烈光照變化情況下的可重復(fù)關(guān)鍵點(diǎn)進(jìn)行檢測(cè)。參與訓(xùn)練的候選特征點(diǎn)是由多幅訓(xùn)練圖像中采用 SIFT 算法提取的可重復(fù)關(guān)鍵點(diǎn)組成，如圖a；正樣本是以這些點(diǎn)為中心的區(qū)域，負(fù)樣本是遠(yuǎn)離這些點(diǎn)的區(qū)域。在進(jìn)行回歸訓(xùn)練時(shí)，正樣本 在特征點(diǎn)位置返回最大值，遠(yuǎn)離特征點(diǎn)位置返回較小值，如圖 b ; 回歸測(cè)試時(shí)，將測(cè)試圖像分成固定大小的圖像塊，其回歸響應(yīng)如圖c ，然后根據(jù)非極大值抑制提取特征點(diǎn)，如圖d 。該方法適用于處理訓(xùn)練數(shù)據(jù)和測(cè)試數(shù)據(jù)為同一場(chǎng)景的圖像。（TILDE 采用手動(dòng)標(biāo)記的數(shù)據(jù)作為區(qū)分性特征訓(xùn)練，使用DOG-difference of Gaussian收集訓(xùn)練集，對(duì)于跨模態(tài)任務(wù)如RGB/深度模態(tài)對(duì)不再適用）

基于學(xué)習(xí)的協(xié)變特征檢測(cè)器【17】：綜合考慮兩個(gè)局部特征檢測(cè)器特性（檢測(cè)可區(qū)分的特征；協(xié)變約束-在不同的變換下重復(fù)檢測(cè)一致特征），Zhang 等人提出。該方法將 TILDE 的輸出作為候選標(biāo)準(zhǔn)圖像塊，通過變換預(yù)測(cè)器的訓(xùn)練建立學(xué)習(xí)框架，將局部特征檢測(cè)器的協(xié)變約束轉(zhuǎn)化為變換預(yù)測(cè)器的協(xié)變約束，以便利用回歸( 如深度神經(jīng)網(wǎng)絡(luò)) 進(jìn)行變換預(yù)測(cè)。預(yù)測(cè)的變換有兩個(gè)重要性質(zhì): 1) 變換的逆矩陣能將觀察到的圖像 塊映射到“標(biāo)準(zhǔn)塊”，“標(biāo)準(zhǔn)塊”定義了具有可區(qū)分性的圖像塊以及塊內(nèi)“典型特征”( 如單位圓) 的位置和形狀; 2) 將變換應(yīng)用到“典型特征”可以預(yù)測(cè)圖像 塊內(nèi)變換特征的位置和形狀。

Quadnetworks【18】：采用無監(jiān)督學(xué)習(xí)方式進(jìn)行特征點(diǎn)檢測(cè)。Savinov 等人提出，該方法將關(guān)鍵點(diǎn)檢測(cè)問題轉(zhuǎn)化為圖像變換上的關(guān)鍵點(diǎn)一致性排序問題，優(yōu)化后的排序在不同的變換下具有重復(fù)性，其中關(guān)鍵點(diǎn)來自響應(yīng)函數(shù)的頂/底部分位 數(shù)。Quad-networks 的訓(xùn)練過程如圖所示，在兩幅圖像中提取隨機(jī)旋轉(zhuǎn)像塊對(duì)( 1，3) 和( 2，4) ; 每個(gè)塊 經(jīng)過神經(jīng)網(wǎng)絡(luò)輸出一個(gè)實(shí)值響應(yīng) H( p w) ，其中 p 表示點(diǎn)，w 表示參數(shù)向量; 通過四元組的排序一致函數(shù)計(jì)算鉸鏈損失，并通過梯度下降法優(yōu)化。Quadnetworks 在 RGB/RGB模式和RGB/深度模式的重復(fù)檢測(cè)性能均優(yōu)于 DOG，可以和基于學(xué)習(xí)的描述符 相結(jié)合進(jìn)行圖像匹配，還可用于視頻中的興趣幀檢測(cè)。

3.2 深度學(xué)習(xí)特征描述符學(xué)習(xí)

用于特征點(diǎn)描述符判別學(xué)習(xí)的 DeepDesc【19】：Simo-Serra 等人提出，該方法采用 Siamese 網(wǎng)絡(luò)側(cè)重訓(xùn)練難以區(qū)分類別的樣本，輸入圖像塊對(duì)，將 CNN 輸出的非線性映射作為描述符，采用歐氏距離計(jì)算相似性并最小化其鉸鏈損失。該方法適用于不同的數(shù)據(jù)集和應(yīng)用，包括寬基線圖像匹配、非剛性變形和極端光照變化的情況，但該方法需要大量的訓(xùn)練數(shù)據(jù)來保證其魯棒性。

3.3 深度學(xué)習(xí)各階段統(tǒng)一

Yi 等人提出【20】：基于學(xué)習(xí)的不變特征變換( LIFT) 結(jié)合空間變換網(wǎng)絡(luò)【21】和 Softargmax 函數(shù)，將基于深度學(xué)習(xí)的特征點(diǎn)檢測(cè)【16】、基于深度學(xué)習(xí)的方向估計(jì)【22】和基于深度學(xué)習(xí)的描述符【19】連接成一個(gè)統(tǒng)一網(wǎng)絡(luò)，從而實(shí)現(xiàn)完整特征點(diǎn)匹配處理流水線。其中圖像塊的裁剪和旋轉(zhuǎn)通過空間變換網(wǎng)絡(luò)實(shí)現(xiàn)，訓(xùn)練階段采用四分支 Siamese 網(wǎng)絡(luò)，輸入特征點(diǎn)所在圖像塊，其位置和方向均來自 SFM 算法的輸出，其中 P1 和 P2 為同一3D點(diǎn)在不同視角下的圖像，P3 為不同3D點(diǎn)的投影的圖像塊，P4 為不包含任何特征點(diǎn)的圖像快，S 為得分圖，x 代表特征點(diǎn)位置。采用從后至前的訓(xùn)練策略，即先訓(xùn)練描述子，再訓(xùn)練方向估計(jì)，最后訓(xùn)練特征點(diǎn)檢測(cè)。測(cè)試階段，將特征點(diǎn)檢測(cè)與方向估計(jì)及描述子分開，使優(yōu)化問題易于處理。LIFT 方法的輸入為多尺度圖像，以滑窗形式進(jìn)行特征點(diǎn)檢測(cè)，提取局部塊逐個(gè)分配方向，再計(jì)算描述子。與 SIFT 相比，LIFT 能夠提取出更為稠密的特征點(diǎn)，且對(duì)光照和季節(jié)變化具有很高的魯棒性。

3.4 不同對(duì)象或場(chǎng)景的匹配方法研究(圖像語義匹配)：

與考慮在時(shí)間(光流) 或空間(立體) 相鄰的圖像特征對(duì)應(yīng)不同，語義對(duì)應(yīng)的特征是圖像具有相似的高層結(jié)構(gòu)，而其精確的外觀和幾何形狀可能不同。

3.4.1 相同對(duì)象類的像對(duì)匹配

經(jīng) 典 SIFT 流方法【23】：提出不同場(chǎng)景的稠密對(duì)應(yīng)概念，通過平滑約束和小位移先驗(yàn)計(jì)算不同場(chǎng)景間的稠密對(duì)應(yīng)關(guān)系。

Bristow 等人【24】：將語義對(duì)應(yīng)問題轉(zhuǎn)化為約束檢測(cè)問題，并提出Examplar-LDA( Examplar linear discriminant analysis) 分類器。首先對(duì)匹配圖像中的每個(gè)像素學(xué)習(xí)一個(gè) Examplar-LDA 分類器，然后以滑動(dòng)窗口形式將其應(yīng)用到目標(biāo)圖像，并將所有分類器上的匹配響應(yīng)與附加的平滑先驗(yàn)結(jié)合，從而獲得稠密的對(duì)應(yīng)估計(jì)。該方法改善了語義流的性能，在背景雜亂的場(chǎng)景下具有較強(qiáng)魯棒性。

3.4.2 不同對(duì)象類的像對(duì)匹配

Novotny 等人【25】：提出基于幾何敏感特征的弱監(jiān)督學(xué)習(xí)方法AnchorNet。在只有圖像級(jí)標(biāo)簽的監(jiān)督下，AnchorNet 依賴一組從殘差超列 HC( hypercolumns) 中提取具有正交響應(yīng)的多樣過濾器，該過濾器在同一類別的不同實(shí)例或兩個(gè)相似類別之間具有幾何一致性。AnchorNet 通過在 ILSVＲC12 ( imagenet large scale visual recognition competition 2012) 上預(yù)先訓(xùn)練的深度殘差網(wǎng)絡(luò)( ＲesNet50) 模型初始化網(wǎng)絡(luò)參數(shù)，并采用兩階段優(yōu)化與加速訓(xùn)練完成匹配。

3.4.3 多圖像語義匹配

可以找到多個(gè)圖像間的一致對(duì)應(yīng)關(guān)系，從而在應(yīng)用中發(fā)揮更為重要的作用：

對(duì)象類模型重建【26】

自動(dòng)地標(biāo)注釋【27】

Wang 等人【28】：將多圖像間的語義匹配問題轉(zhuǎn)化為特征選擇與標(biāo)注問題，即從每幅圖像的初始候選集中選擇一組稀疏特征點(diǎn)，通過分配標(biāo)簽建立它們?cè)趫D像間的對(duì)應(yīng)關(guān)系。該方法可以為滿足循環(huán)一致性和幾何一致性的圖像集合建立可靠的特征對(duì)應(yīng)關(guān)系，其中循環(huán)一致性可以對(duì)圖像集合中的可重復(fù)特征進(jìn)行選擇和匹配。低秩約束用于確保特征對(duì)應(yīng)的幾何一致性，并可同時(shí)對(duì)循環(huán)一致性和幾何一致性進(jìn)行優(yōu)化。該方法具有高度可擴(kuò)展性，可以對(duì)數(shù)千幅圖像進(jìn)行匹配，適用于在不使用任何注釋的情況下重構(gòu)對(duì)象類模型。

3.5 圖像匹配應(yīng)用于臨床的精確診療

通過精確比對(duì)器官的幾何形狀，來判斷臟器是否存在病變；通過分析腫瘤的幾何特征，來判斷腫瘤是否為惡性。

Yu 等人［29］提 出 A-NSIFT( accelerated multi-dimensional scale invariant feature transform) 與 PO-GMMＲEG( parallel optimization based on gaussian mixture model registration) 相結(jié)合的方法，改進(jìn)了特征提取和匹配過程。ANSIFT 為加速版 NSIFT，采用 CUDA 編程加速 NSIFT 的前兩個(gè)步驟，用于提取匹配圖像和待匹配圖像中的特征點(diǎn)( 僅保留位置信息) 。PO-GMMＲEG 是基于并行優(yōu)化的高斯混合模型( GMM) 匹配算法，并行優(yōu)化使得匹配圖像和待匹配圖像可以任意旋轉(zhuǎn)角度對(duì)齊。該方法可以減少時(shí)間消耗，提高大姿態(tài)差異下的匹配精度。

TV-L1 ( total variation-L1 ) 光流模型［30］能有效地保持圖像邊緣等特征信息，但對(duì)于保持具有弱導(dǎo)數(shù)性質(zhì)的紋理細(xì)節(jié)信息仍不夠理想。

張桂梅等人［31］將 G-L ( Grünwald-Letnikov ) 分?jǐn)?shù)階微分理論引入TV-L1 光流模型，代替其中的一階微分，提出分?jǐn)?shù)階 TV-L1 光流場(chǎng)模型 FTV-L1 ( fractional TV-L1 ) 。同時(shí)給出匹配精度和 G-L 分?jǐn)?shù)階模板參數(shù)之間關(guān)系，為最佳模板選取提供依據(jù)。FTV-L1 模型通過全變分能量方程的對(duì)偶形式進(jìn)行極小化以獲得位移場(chǎng)，可以解決圖像灰度均勻，弱紋理區(qū)域匹配結(jié)果中的信息模糊問題。該方法能有效提高圖像匹配精度，適合于包含較多弱紋理和弱邊緣信息的醫(yī)學(xué)圖像匹配。

為了解決待匹配圖像對(duì)中目標(biāo)的大形變和灰度分布呈各向異性問題，陸雪松等人［32］將兩幅圖像的 聯(lián)合 Ｒenyi α -entropy 引入多維特征度量并結(jié)合全局和局部特征，從而實(shí)現(xiàn)非剛性匹配。首先，采用最小距離樹構(gòu)造聯(lián)合Ｒenyi α -entropy 度量準(zhǔn)則；其次，根據(jù)該度量相對(duì)形變模型 FFD( free-form deformation) 的梯度解析表達(dá)式，采用隨機(jī)梯度下降法進(jìn)行優(yōu)化; 最后，將圖像的 Canny 特征和梯度方向特征融入度量中，實(shí)現(xiàn)全局和局部特征的結(jié)合。該方法的匹配精度與傳統(tǒng)互信息法和互相關(guān)系數(shù)法相比有明顯提高，且新度量方法能克服因圖像局部灰度分布不一致造成的影響，能夠在一定程度上減少誤匹配。

Yang 等人［33］ 提出的 FMLND( feature matching with learned nonlinear descriptors) 采用基于學(xué)習(xí)的局部非線性描述符 LND 進(jìn)行特征匹配，對(duì)來自 T1w 和 T2w 兩種不同成像參數(shù)的磁共振成像( MＲI) 數(shù)據(jù)的 CT( computed tomography) 圖像進(jìn)行預(yù)測(cè)。該過程分為兩個(gè)階段: 學(xué)習(xí)非線性描述符和預(yù)測(cè) pCT( pseudo CT) 圖像。第 1 階段，首先采用稠密 SIFT 提取 MＲ 圖像的特征; 其次通過顯式特征映射將其投影到高維空間并與原始?jí)K強(qiáng)度結(jié)合，作為初始非線性描述符; 最后在基于改進(jìn)的描述符學(xué)習(xí)( SDL) 框架中學(xué)習(xí)包含監(jiān)督的 CT 信息的局部描述符。第 2 階段，在訓(xùn)練 MＲ 圖像的約束空間內(nèi)搜索輸入 MＲ 圖像的局部描述符的 K 最近鄰域，和對(duì)應(yīng)原始 CT 塊進(jìn)行映射，對(duì)重疊的 CT 塊進(jìn)行加權(quán)平均處理得到最終的pCT 塊。與僅使用成像參數(shù) T1w 或 T2w 的 MＲ 圖像方法相比，F(xiàn)MLND 方法提高了預(yù)測(cè)的準(zhǔn)確率。

對(duì)骨盆CT和MRI匹配可以促進(jìn)前列腺癌放射治療兩種方式的有效融合。由于骨盆器官的模態(tài)外觀間隙較大，形狀/外觀變化程度高，導(dǎo)致匹配困難?；诖?，Cao 等人【34】提出基于雙向圖像合成的區(qū)域自適應(yīng)變形匹配方法，用于多模態(tài)骨盆圖像的匹配，雙向圖像合成，即從MRI合成CT并從CT合 成MRI。多目標(biāo)回歸森林 MT-ＲF 采用CT模式和MRI模式對(duì)方向圖像合成進(jìn)行聯(lián)合監(jiān)督學(xué)習(xí)，消除模態(tài)之間的外觀差異，同時(shí)保留豐富的解剖細(xì)節(jié)，其匹配流程為: 首先，通過 MT-ＲF 合成雙向圖像，獲得實(shí)際CT和合成CT( S-CT) 的CT像對(duì)以及實(shí)際MRI和合成 MＲI( S-MRI) 的 MＲI 像對(duì)；其次，對(duì)CT像對(duì)的骨骼區(qū)域和 MRI像對(duì)的軟組織區(qū)域進(jìn)行檢測(cè)，以結(jié)合兩種模式中的解剖細(xì)節(jié)；最后，利用從兩種模式中選擇的特征點(diǎn)進(jìn)行對(duì)稱匹配。在匹配過程中，特征點(diǎn)數(shù)量逐漸增加，對(duì)形變場(chǎng)的對(duì)稱估計(jì)起到較好的分級(jí)指導(dǎo)作用。該方法能夠較好地解決骨盆圖像匹配問題，具有較高的準(zhǔn)確性和魯棒性。

3.6 圖像匹配應(yīng)用于遙感圖像處理-高分辨率

何夢(mèng)夢(mèng)等人【35】對(duì)細(xì)節(jié)紋理信息豐富的高分辨率光學(xué)及 SAR( synthetic aperture radar) 遙感圖像進(jìn)行分析，提出一種特征級(jí)高分辨率遙感圖像快速自動(dòng)匹配方法。該方法首先對(duì)匹配圖像和待匹配圖像進(jìn)行 Harr 小波變換，將其變換到低頻近似圖像再進(jìn)行后續(xù)處理，以提高圖像匹配速度；接著對(duì)光學(xué)圖像和 SAＲ 圖像分別采用 Canny 算子和 ＲOA( ratio of averages) 算子進(jìn)行邊緣特征提取，并將邊緣線特征轉(zhuǎn)換成點(diǎn)特征；而后通過匹配圖像和待匹配圖像中每對(duì)特征點(diǎn)之間的最小和次小角度之比確定初始匹配點(diǎn)對(duì)，并通過對(duì)隨機(jī)抽樣一致性算法( ＲANSAC) 添加約束條件來濾除錯(cuò)誤匹配點(diǎn)對(duì)；最后采用分塊均勻提取匹配點(diǎn)對(duì)的方法，進(jìn)一步提高匹配精度。該方法能快速實(shí)現(xiàn)并具有較高的配準(zhǔn)精度和較好的魯棒性。

3.7 剔除誤差匹配

3.7.1 幾何約束為參數(shù)的情況，如要求相應(yīng)點(diǎn)位于極線上

Fischler 等 人［36］提出 RANSAC 方法，采用迭代方式從包含離群數(shù)據(jù)的數(shù)據(jù)集中估算出數(shù)學(xué)模型。進(jìn)行匹配點(diǎn)對(duì)的提純步驟為: 1) 從已匹配的特征點(diǎn)對(duì)數(shù)據(jù)集中隨機(jī)抽取四對(duì)不共線的點(diǎn)，計(jì)算單應(yīng)性矩陣 H，記作模型 M; 2) 設(shè)定一個(gè)閾值 t，若數(shù)據(jù)集中特征點(diǎn)與 M 之間的投影誤差小于t，就把該點(diǎn)加入內(nèi)點(diǎn)集，重復(fù)以上步驟，迭代結(jié)束后對(duì)應(yīng)內(nèi)點(diǎn)數(shù)量最多的情況即為最優(yōu)匹配。ＲANSAC 對(duì)誤匹配點(diǎn)的剔除依賴單應(yīng)性矩陣的計(jì)算，存在計(jì)算量大、效率低等問題。

文獻(xiàn)［37］ 通過引入針對(duì)內(nèi)點(diǎn)和外點(diǎn)的混合概率模型實(shí)現(xiàn)了參數(shù)模型的最大似然估計(jì)。

文獻(xiàn)［38］ 使用支持向量回歸學(xué)習(xí)的對(duì)應(yīng)函數(shù)，該函數(shù)將一幅圖像中的點(diǎn)映射到另一幅圖像中的對(duì)應(yīng)點(diǎn)，再通過檢驗(yàn)它們是否與對(duì)應(yīng)函數(shù)一致來剔除異常值。

將點(diǎn)對(duì)應(yīng)關(guān)系通過圖匹配進(jìn)行描述［39-40］

為了在不依賴 ＲANSAC 情況下恢復(fù)大量內(nèi)點(diǎn)，Lin 等人【41】提出 BF( bilateral functions) 方法，從含有噪聲的匹配中計(jì)算全局匹配的一致函數(shù)，進(jìn)而分離內(nèi)點(diǎn)與外點(diǎn)。BF從一組初始匹配結(jié)果開始，利用每個(gè)匹配定義的局部仿射變換矩陣計(jì)算兩幅圖像之間的仿射運(yùn)動(dòng)場(chǎng)。在給定運(yùn)動(dòng)場(chǎng)的情況下，BF為每個(gè)特征在描述符空間尋找最近鄰匹配以恢復(fù)更多對(duì)應(yīng)關(guān)系。與ＲANSAC 相比，雙邊運(yùn)動(dòng)模型具備更高的查全率和查準(zhǔn)率。

受BF啟發(fā)，Bian 等人【42】將運(yùn)動(dòng)平滑度作為統(tǒng)計(jì)量，提出基于網(wǎng)格的運(yùn)動(dòng)統(tǒng)計(jì)( GMS) 方法，根據(jù)最近鄰匹配數(shù)量區(qū)分正確匹配和錯(cuò)誤匹配點(diǎn)對(duì)。GMS 算法的核心為運(yùn)動(dòng)統(tǒng)計(jì)模型，如圖 4 所示。其中，si 和 sj 分別表示正確匹配 xi 和錯(cuò)誤匹配 xj 的運(yùn)動(dòng)統(tǒng)計(jì)，為了加速這一過程，可將整幅圖像劃分成 G = 20 × 20 的網(wǎng)格，并在網(wǎng)格中進(jìn)行操作。由于 GMS 算法在進(jìn)行網(wǎng)格劃分時(shí)，并未考慮圖像大小，對(duì)于長寬比例不一致的圖像，會(huì)生成矩形狀的網(wǎng)格，導(dǎo)致網(wǎng)格中特征分布不均?；诖耍墨I(xiàn)［43］通過計(jì)算五宮格特征分?jǐn)?shù)剔除外點(diǎn)，并將圖像大小作為約束對(duì)圖像進(jìn)行方形網(wǎng)格劃分，能夠在提高運(yùn)算速度的同時(shí)獲得與 GMS 算法相同的匹配精度。

3.7.2 幾何約束為非參數(shù)

Ma 等人［44］提出 VFC( vector field consensus) 方法，利用向量場(chǎng)的光滑先驗(yàn)，從帶有外點(diǎn)的樣本中尋找向量場(chǎng)的魯棒估計(jì)。向量場(chǎng)的光滑性由再生核希爾伯特空間( RKHS) 【45】范數(shù)表征，VFC 算法基于這一先驗(yàn)理論，使用貝葉斯模型的最大后驗(yàn)( MAP) 計(jì)算匹配是否正確，最后使用 EM 算法將后驗(yàn)概率最大化。VFC 算法的適用范圍: 1) 誤匹配比例高的時(shí)候( 遙感圖像、紅外圖像和異質(zhì)圖像) ; 2) 無法提供變換模型的時(shí)候(如非剛性變形、相機(jī)參數(shù)未知)；3) 需要一個(gè)快速匹配算法且不需要求解變換參數(shù)的時(shí)候。

Part2：局部不變特征點(diǎn)匹配-3D
3維圖像常用的表現(xiàn)形式包括: 深度圖( 以灰度表達(dá)物體與相機(jī)的距離) 、幾何模型( 由 CAD軟件建立) 、點(diǎn)云模型( 所有逆向工程設(shè)備都將物體采樣成點(diǎn)云) ，3 維點(diǎn)匹配算法中常見的是基于點(diǎn)云模型的和基于深度模型的。點(diǎn)云模型中的每個(gè)點(diǎn)對(duì)應(yīng)一個(gè)測(cè)量點(diǎn)，包含了最大的信息量。

1. 特征檢測(cè)

PointNet【46】可以直接將 3D 點(diǎn)云作為輸入，其改進(jìn)版。PointNet++【47】能更好地提取局部信息。3 維局部描述符在 3 維視覺中發(fā)揮重要作用，是解決對(duì)應(yīng)估計(jì)、匹配、目標(biāo)檢測(cè)和形狀檢索等的前提，廣泛應(yīng)用在機(jī)器人技術(shù)、導(dǎo) 航( SVM) 和場(chǎng)景重建中。點(diǎn)云匹配中的 3 維幾何描述符一直是該領(lǐng)域的研究熱點(diǎn)，這種描述符主要依賴 3 維局部幾何信息。

Deng 等人［48］提出具有全局感知的局部特征提取網(wǎng)絡(luò) PPFNet ( point pair feature network) 。PPFNet 結(jié)構(gòu)如圖 5 所示。塊描述 Fr 由點(diǎn)對(duì)特征( PPF) 集合、局部鄰域內(nèi)的點(diǎn)及法線構(gòu)成，首先采用 PointNet 處理每個(gè)區(qū)域塊，得到局部特征；其次通過最大池化層將各個(gè)塊的局部特征聚合為全局特征，將截然不同的局部信息匯總到整個(gè)片段的全局背景中；最后將該全局特征連接到每個(gè)局部特征，使用一組多層感知機(jī)( MLP) 進(jìn)一步將全局和局部特征融合到最終全局背景感知的局部描述符中。PPFNet 在幾何空間上學(xué)習(xí)局部描述符，具有排列不變性，且能充分利用原始點(diǎn)云的稀疏性，提高了召回率，對(duì)點(diǎn)云的密度變化有更好的魯棒性。但其內(nèi)存使用空間與塊數(shù)的 2 次方成正比，限制了塊的數(shù)量，目前只能設(shè)置為 2 K。

在基于深度模型的匹配算法中，Zhou 等人【49】基于多視圖融合技術(shù)Fuseption-ＲesNet(FRN) ，提出多視圖描述符 MVDesc。FＲN 能將多視圖特征映射集成到單視圖上表示，如圖 6 所示。其中，視圖池化 ( view pooling) 用于快捷連接，F(xiàn)useption 分支負(fù)責(zé)學(xué)習(xí)殘差映射，兩個(gè)分支在精度和收斂率方面互相加強(qiáng)。采用 3 × 3、1 × 3 和 3 × 1 3 種不同內(nèi)核尺寸的輕量級(jí)空間濾波器提取不同類型的特征，并采用上 述級(jí)聯(lián)特征映射的 1 × 1 卷積負(fù)責(zé)跨通道統(tǒng)計(jì)量的合并與降維。將 FＲN 置于多個(gè)并行特征網(wǎng)絡(luò)之上，并建立 MVDesc 的學(xué)習(xí)網(wǎng)絡(luò)，其中卷積 6 的通道數(shù)與特征網(wǎng)絡(luò)輸出的特征映射通道數(shù)相同。

與依賴多視圖圖像或需要提取固有形狀特征的卷積神經(jīng)網(wǎng)絡(luò)不同，Wang 等人［50］提出一種可以根據(jù) 3 維曲面形狀生成局部描述符的網(wǎng)絡(luò)框架。該方法將關(guān)鍵點(diǎn)的鄰域進(jìn)行多尺度量化并參數(shù)化為 2 維網(wǎng)格，并將其稱之為幾何圖像，描述符的訓(xùn)練過程如下: 首先 提取曲面上關(guān)鍵點(diǎn)鄰域的多尺度局部塊，根據(jù)這些塊構(gòu)造一組幾何圖像；其次將這些塊輸入 Triplet 網(wǎng)絡(luò)，每個(gè)網(wǎng)絡(luò)分支采用 ConvNet ( convolutional networks) 訓(xùn)練; 最后輸出 128 維描述符，并采用 MinCV Triplet 損失函數(shù)最小化錨樣本和正樣本距離的變異系數(shù)(CV) 之比。相對(duì)于其他局部描述符學(xué)習(xí)方法，該方法具有更好的可區(qū)分性、魯棒性及泛化能力。

Georgakis 等人［51］提出用于特征點(diǎn)檢測(cè)和描述符學(xué)習(xí)的端到端框架。 該框架基于 Siamese 體系結(jié) 構(gòu)，每個(gè)分支都是一個(gè)改進(jìn)的 Faster Ｒ-CNN［52］。如 圖 7 所示，采用 VGG-16 的卷積層 cov5_3 提取深度圖I的深度卷積特征，一方面經(jīng)過ＲPN( region propose network) 處理，產(chǎn)生特征點(diǎn)的候選區(qū)域( 橙色區(qū)域) 及分?jǐn)?shù) S ; 另一方面輸入到 ＲoI( region of interest) 池化層，經(jīng)過全連接層將特征點(diǎn)候選區(qū)域映射到對(duì)應(yīng)卷積特征f 上; 采樣層以候選區(qū)域的質(zhì)心 x、 卷積特征 f 、深度圖像值 D、相機(jī)姿態(tài)信息 g 和相機(jī)內(nèi)在參數(shù)作為輸入，動(dòng)態(tài)生成局部塊對(duì)應(yīng)標(biāo)簽(正或負(fù)) ，并采用對(duì)比損失函數(shù) Lcontr 最小化正樣本對(duì)間的特征距離，最大化負(fù)樣本對(duì)間的距離，該方法對(duì)視角變化具有一定的魯棒性。

2. 誤差剔除

采用基于圖模型的3維誤匹配點(diǎn)剔除方法RMBP( robust matching using belief propagation) 。該模型可以描述匹配對(duì)之間的相鄰關(guān)系，并通過置信傳播對(duì)每個(gè)匹配對(duì)進(jìn)行推斷驗(yàn)證，從而提高 3 維點(diǎn)匹配的準(zhǔn)確性和魯棒性。

Part3：直線匹配
研究直線匹配首先要克服線特征本身存在的一些問題，如端點(diǎn)位置不準(zhǔn)確、圖像邊緣特征不明顯、線段碎片問題等，與點(diǎn)特征相比，線特征包含更多場(chǎng)景和對(duì)象的結(jié)構(gòu)信息。線特征匹配方法可以大致分為 3 種: 基于單線段匹配方法、基于線段組方法和基于共面線—點(diǎn)不變量(LP) 方法。

1. 基于單線段匹配

Wang 等人［53］提出 的 MSLD( mean standard deviation line descriptor) 方法通過統(tǒng)計(jì)像素支持區(qū)域內(nèi)每個(gè)子區(qū)域 4 個(gè)方向的梯度向量構(gòu)建描述子矩陣，進(jìn)而提高描述符的魯棒性。MSLD 對(duì)具有適當(dāng)變化的紋理圖像有較好的匹配效果，可以應(yīng)用在 3 維重建和目標(biāo)識(shí)別等領(lǐng)域。為了解決 MSLD 對(duì)尺度變化敏感問題，文獻(xiàn)［54］將區(qū)域仿射變換和 MSLD 相結(jié)合，利用核線約束確定匹配圖像對(duì)應(yīng)的同名支持域，并對(duì)該支持域進(jìn)行仿射變換以統(tǒng)一該區(qū)域大小，實(shí)現(xiàn)不同尺度圖像上直線的可靠匹配。

與 MSLD 相似，Zhang 等人［55］提出 線帶描述符( LBD) ，在線支持區(qū)域( LSＲ) 中計(jì)算描述符，同時(shí)利用直線的局部外觀和幾何特性，通過成對(duì)幾何一致評(píng)估提高對(duì)低紋理圖像直線匹配的精確度。該方法可在不同尺度空間中檢測(cè)線段，能夠克服線段碎片問題，提高抗大尺度變化的魯棒性。

2. 基于線段組方法

當(dāng)像對(duì)間旋轉(zhuǎn)角度過大時(shí)，單線段匹配方法的匹配準(zhǔn)確率不高，可以采用線段組匹配方法通過更多的幾何信息解決這一問題。Wang 等人［56］基于線段局部聚類的方式提出半局部特征 LS( line signature) ，用于寬基線像對(duì)匹配，并采用多尺度方案提高尺度變化下的魯棒性。

為了提高在光照不受控制情況下對(duì)低紋理圖像的匹配準(zhǔn)確度，López 等人［57］將直線的幾何特性、局部外觀及線鄰域結(jié)構(gòu)上下文相結(jié)合，提出雙視圖( two-view) 直線匹配算法 CA。首先對(duì)線特征進(jìn)行檢測(cè): 1) 在高斯尺度空間利用基于相位的邊緣檢測(cè)器提取特征; 2) 根據(jù)連續(xù)性準(zhǔn)則將邊緣特征局部區(qū)域近似為線段; 3) 在尺度空間進(jìn)行線段融合。其次，該方法中的相位一致性對(duì)于圖像亮度和對(duì)比度具有較高不變性，線段融合可以減少重疊線段以及線段碎片出現(xiàn)。最后，線特征匹配采用迭代方式進(jìn)行，通過不同直線鄰域的局部結(jié)構(gòu)信息來增強(qiáng)每次迭代的匹配線集，該方法適用于低紋理圖像中線特征的檢測(cè)與匹配。

基于線段組匹配方法對(duì)線段端點(diǎn)有高度依賴性，圖像變換及部分遮擋可能導(dǎo)致端點(diǎn)位置不準(zhǔn)確，進(jìn)而影響匹配效果。

3. 基于共面線—點(diǎn)不變量( LP) 方法

Fan 等人［58-59］利用線及其鄰域點(diǎn)的局部幾何信息構(gòu)造共面線—點(diǎn)不變量( LP) 用于線匹配。LP 包括:“一線 + 兩點(diǎn)”構(gòu)成的仿射不變量和“一線 + 四點(diǎn)”構(gòu)成的投影不變量。該投影不變量和“兩線+兩點(diǎn)”構(gòu)成的投影不變量［60］ 相比，可以直接用于線匹配而無需復(fù)雜的組合優(yōu)化。根據(jù)直線的梯度方向，將線鄰域分為左鄰域和右鄰域( 線梯度方向) ，以獲得左右鄰域內(nèi)與線共面的匹配點(diǎn)，進(jìn)行線相似性度量時(shí)，取左右鄰域相似性的最大值。

該方法對(duì)誤匹配點(diǎn)和圖像變換具有魯棒性，但高度依賴匹配關(guān)鍵點(diǎn)的準(zhǔn)確性。為此，Jia 等 人［61］基于特征數(shù) CN［62］提出一種新的共面線—點(diǎn) 投影不變量。CN 對(duì)交叉比進(jìn)行擴(kuò)展，采用線上點(diǎn)和線外點(diǎn)描述基礎(chǔ)幾何結(jié)構(gòu)。通過“五點(diǎn)”構(gòu)造線—點(diǎn)不變量，其中兩點(diǎn)位于直線上，另外三點(diǎn)位于直線同一側(cè)但不共線，如圖 8 所示。點(diǎn) KP1 l ，KP2 l ， P1 ，P2 ，P3 用于構(gòu)造該不變量，通過兩點(diǎn)連線可以獲得其他特征點(diǎn)。計(jì)算直線鄰域相似性時(shí)，把線鄰域按照線梯度方向分為左鄰域和右鄰域( 梯度方向) ，根據(jù)線點(diǎn)不變量分別計(jì)算左、右鄰域的相似性。這種相似性度量方法受匹配特征點(diǎn)的影響較小。該方法對(duì)于低紋理和寬基線圖像的線匹配效果要優(yōu)于其他線匹配算法，對(duì)于很多圖像失真也有較好魯棒性。由于該線—點(diǎn)不變量是共面的，對(duì)于非平面場(chǎng)景圖像的處理具有局限性。

對(duì)航空影像進(jìn)行線匹配時(shí)，線特征通常會(huì)出現(xiàn)遮擋、變形及斷裂等情況，使得基于形態(tài)的全局描述符不再適用?；诖?，歐陽歡等人［63］聯(lián)合點(diǎn)特征匹配優(yōu)勢(shì)，通過對(duì)線特征進(jìn)行離散化描述并結(jié)合同名點(diǎn)約束實(shí)現(xiàn)航空影像線特征匹配。線特征離散化，即將線看做離散點(diǎn)，通過統(tǒng)計(jì)線上同名點(diǎn)的分布情況來確定線特征的初匹配結(jié)果，最后利用點(diǎn)線之間距離關(guān)系對(duì)匹配結(jié)果進(jìn)行核驗(yàn)。同名點(diǎn)約束包括單應(yīng)性約束和核線約束，單應(yīng)性約束實(shí)現(xiàn)線特征之間的位置約束，核線約束將匹配搜索空間從 2 維降至 1 維。線上離散點(diǎn)的匹配約束如圖 9 所示，IL 為目 標(biāo)影像，l1 為目標(biāo)線特征，p 為其上一點(diǎn); IＲ 為待匹配影像，線 E 代表 p 所對(duì)應(yīng)核線，p' 為 p 由單應(yīng)性矩 陣映射得到的對(duì)應(yīng)點(diǎn)，虛線圓為單應(yīng)性矩陣的約束 范圍，l'1 、l'2 、l'3 是由約束確定的候選線特征，點(diǎn) p1、p2 、p3 為 p 的候選同名點(diǎn)。該算法匹配正確率高，匹配速度相對(duì)較快，可實(shí)現(xiàn)斷裂線特征的多對(duì)多匹配，但匹配可靠性仍受到點(diǎn)特征匹配的影響，對(duì)于難以獲得初始同名點(diǎn)的區(qū)域，其適用性不高。

Part4：區(qū)域匹配
1. 區(qū)域特征提取與匹配方法

區(qū)域特征具有較高的不變性與穩(wěn)定性，在多數(shù)圖像中可以重復(fù)檢測(cè)，與其他檢測(cè)器具有一定互補(bǔ)性，被廣泛應(yīng)用于圖像識(shí)別、圖像檢索、圖像拼接、3 維重建、機(jī)器人導(dǎo)航等領(lǐng)域。

Matas 等人［64］于 2002 年提 出最大穩(wěn)定極值區(qū)域( MSEＲ) 采用分水嶺方法，通過對(duì)灰度圖像取不同閾值分割得到一組二值圖，再分析相鄰二值圖像的連通區(qū)域獲得穩(wěn)定區(qū)域特征。經(jīng)典MSEＲ算法具有較高的時(shí)間復(fù)雜度。

Nistér 等 人［65］基于改進(jìn)的分水嶺技術(shù)提出一種線性計(jì)算 MSEＲ 的算法，該算法基于像素的不同計(jì)算順序，獲得與圖像中存在灰度級(jí)數(shù)量相同的像素分量信息，并通過組件樹表示對(duì)應(yīng)灰度級(jí)。MSEＲ 這類方法可用于圖像斑點(diǎn)區(qū)域檢測(cè)及文本定位，也可與其他檢測(cè)器結(jié)合使用，如文獻(xiàn)［66］將 SUＲF 和 MSEＲ 及顏色特征相結(jié)合用于圖像檢索，文獻(xiàn)［67］將 MSEＲ 與 SIFT 結(jié)合用于特征檢測(cè)。

區(qū)域特征檢測(cè)還可利用計(jì)算機(jī)技術(shù)中的樹理論進(jìn)行穩(wěn)定特征提取，Xu 等人［68］提出一種基于該理論的拓?fù)浞椒?TBMＲ( tree-based Morse regions) 。該方法以 Morse 理論為基礎(chǔ)定義臨界點(diǎn)：最大值點(diǎn)、最小值點(diǎn)和鞍點(diǎn)，分別對(duì)應(yīng)最大樹葉子節(jié)點(diǎn)、最小樹葉子節(jié)點(diǎn)和分叉節(jié)點(diǎn)。TBMＲ 區(qū)域?qū)?yīng)樹中具有唯一子節(jié)點(diǎn)和至少具有一個(gè)兄弟節(jié)點(diǎn)的節(jié)點(diǎn)。如圖 10 所示，節(jié)點(diǎn) A 和 C 代表最小值區(qū)域; 節(jié)點(diǎn) H 和 E 代 表最大值區(qū)域; 節(jié)點(diǎn) A ∪ B ∪ C ∪ D ∪ G 和 E ∪ F ∪ G ∪ H 表示鞍點(diǎn)區(qū)域; 節(jié)點(diǎn) A ∪ B 、C ∪ D 、E ∪ F 為所求 TBMＲ 區(qū)域。該方法僅依賴拓?fù)湫畔?，完全繼承形狀空間不變性，對(duì)視角變化具有魯棒性，計(jì)算速度快，與 MSEＲ 具有相同復(fù)雜度，常用于圖像配準(zhǔn)和 3 維重建。

 

2. 模板匹配：

模板匹配是指給定一個(gè)模板( 通常是一塊小圖像區(qū)域) ，在目標(biāo)圖像中尋找與模板對(duì)應(yīng)區(qū)域的方法，被廣泛應(yīng)用于目標(biāo)跟蹤、目標(biāo)檢測(cè)及圖像拼接等領(lǐng)域。

模板和目標(biāo)圖像子窗口間的相似性度量是模板匹配的主要部分，常采用逐像素比較的計(jì)算方式，如上述方法采用的 SAD、CSAD 和 SV-NCC，此外還有差值平方和 SSD 等，這些方法在圖像背景雜亂或發(fā)生復(fù)雜形變的情況下不再適用。

Korman 等人［69］提出可以處理任意仿射變換的模板匹配算法 FAST-Match ( fast affine template matching) ，該方法首先將彩色圖像灰度化，再構(gòu)建仿射變換集合，并遍歷所有可能的仿射變換，最后計(jì)算模板與變換后區(qū)域之間絕對(duì)差值的和 SAD，求取最小值作為最佳匹配位置。該方法能夠找到全局最優(yōu)匹配位置，但對(duì)彩色圖像匹配時(shí)，需預(yù)先轉(zhuǎn)換成灰度圖像，而這一過程損失了彩色空間信息，降低了圖像匹配的準(zhǔn)確率。

Jia 等人［70］將灰度空間的 SAD 拓展到 ＲGB 空間形成 CSAD( colour SAD) ，提出適合彩色圖像的模板匹配算法 CFAST-Match ( colour FAST match) 。該方法通過矢量密度聚類算法計(jì)算每個(gè)像素點(diǎn)所屬類別，并統(tǒng)計(jì)同類像素個(gè)數(shù)及 ＲGB 各通道的累計(jì)值，以此求解每個(gè)分類的矢量中心，將矢量中心作為 CSAD 的判定條件，同類像素個(gè)數(shù)的倒數(shù)作為分值系數(shù)，以此建立新的相似性度量機(jī)制。

上方法對(duì)存在明顯色差的區(qū)域具有較高匹配精度，但部分參數(shù)依據(jù)經(jīng)驗(yàn)設(shè)置，且不適合處理大尺寸圖像。為了解決這一問題，文獻(xiàn)［71］提出一種基于分值圖的模板匹配算法。該方法依據(jù)彩色圖像的多通道特征，采用抽樣矢量歸一化互相關(guān)方法 ( SVNCC) 度量兩幅圖像間的區(qū)域一致性，以降低光照和噪聲影響。

Dekel 等人［72-73］基于模板與目標(biāo)圖像間的最近鄰( NN) 匹配屬性提出 一種新的 BBS( best-buddies similarity) 度量方法，采用不同圖像特征( 如顏色、深度) 通過滑動(dòng)窗口方式統(tǒng)計(jì)模板點(diǎn)與目標(biāo)點(diǎn)互為 NN 的匹配數(shù)量，并將匹配數(shù)量最多的窗口視為最終匹配位置。但該算法在發(fā)生劇烈非剛性形變或處于大面積遮擋及非均勻光照等環(huán)境下匹配魯棒性差。文獻(xiàn)［74］利用曼哈頓距離代替 BBS 算法中的歐氏距離，并對(duì)生成的置信圖進(jìn)行閾值篩選和濾波，能夠較好地解決光照不均勻、模板中外點(diǎn)較多與旋轉(zhuǎn)變形等多種復(fù)雜條件下的匹配問題。

采用雙向 NN 匹配導(dǎo)致 BBS 的計(jì)算時(shí)間較長， Talmi 等人［75］提出基于單向 NN 匹配的 DDIS ( deformable diversity similarity) 方法。首先計(jì)算目標(biāo)圖像窗口點(diǎn)在模板中的 NN 匹配點(diǎn)，并統(tǒng)計(jì)對(duì)應(yīng)同一匹配點(diǎn)的數(shù)量，計(jì)算像素點(diǎn)的置信度。其次采用歐氏距離計(jì)算目標(biāo)點(diǎn)和對(duì)應(yīng) NN 匹配點(diǎn)間距離，最后 結(jié)合度量模板和目標(biāo)圖像窗口間的相似性獲得匹配結(jié)果。盡管 DDIS 降低了算法復(fù)雜度并提高了檢測(cè)精度，但當(dāng)形變程度較大時(shí)依然會(huì)影響匹配效果。

由于 DDIS 對(duì)每個(gè)滑動(dòng)窗口單獨(dú)計(jì)算 NN 匹配且滑動(dòng)窗口的計(jì)算效率較低，導(dǎo)致模板在與較大尺寸的目標(biāo)圖像進(jìn)行匹配時(shí)，處理時(shí)間較長。為此，Talker 等人［76］基于單向 NN 匹配提出 DIWU( deformable image weighted unpopularity) 方法。與 DDIS 基于目標(biāo)圖像窗口點(diǎn)不同，DIWU 計(jì)算整幅目標(biāo)圖像點(diǎn)在模板中的最近鄰匹配點(diǎn)，若多個(gè)像素的 NN 匹配點(diǎn)相同，則像素的置信分?jǐn)?shù)就低，匹配的正確性就低。DIWU 以第 1 個(gè)圖像窗口的分?jǐn)?shù)為基礎(chǔ)，逐步計(jì)算之后的每個(gè)窗口分?jǐn)?shù)，該方法在保證匹配準(zhǔn)確性的同時(shí)，提高了運(yùn)算速度，使得基于 NN 的模板匹配適合實(shí)際應(yīng)用。

BBS 和 DDIS 均采用計(jì)算矩形塊間的相似性度量解決幾何形變和部分遮擋問題，但滑動(dòng)窗口的使用限制了遮擋程度。Korman 等人［77］基于一致集最 大化( CSM) 提出適用于存在高度遮擋情況下的模 板匹配算法 OATM ( occlusion aware template matching) 。OATM 通過約簡方法，將單個(gè)向量和 N 個(gè)目標(biāo)向量間的匹配問題轉(zhuǎn)化為兩組 槡N 向量間的匹配問題，并基于隨機(jī)網(wǎng)格哈希算法進(jìn)行匹配搜索。匹配搜索的過程為尋找 CSM 的過程，即使用閾值內(nèi)的 殘差映射進(jìn)行變換搜索。OATM 提高了算法的處理 速度，較好地解決了遮擋問題。

與基于歐氏距離的像素間的相似性不同，共現(xiàn)統(tǒng)計(jì)( cooccurrence statistics) 是從數(shù)據(jù)中學(xué)習(xí)像素間 的相似性。Kat 等人［78］通過統(tǒng)計(jì)模板點(diǎn)和目標(biāo)點(diǎn)在 目標(biāo)圖像窗口共同出現(xiàn)的概率提出 CoTM( cooccurrence based template matching) 。CoTM 在處理彩色 圖時(shí)，采用 k-means 聚類算法將圖像量化為 k 個(gè)類簇，根據(jù)共現(xiàn)矩陣統(tǒng)計(jì)模板和目標(biāo)圖像中的類簇對(duì)在目標(biāo)圖像中共同出現(xiàn)的次數(shù)，再基于每個(gè)類簇的先驗(yàn)概率進(jìn)行歸一化，構(gòu)造點(diǎn)互信息( PMI) 矩陣，值越大表明共現(xiàn)概率越高，誤匹配率越低。最后根據(jù) PMI 計(jì)算模板類簇中的像素和目標(biāo)圖像窗口中包含的類簇中的像素之間的相關(guān)性，選出最佳匹配位置。CoTM 也適用于顏色特征之外的其他特征，如深度特征，可將共現(xiàn)統(tǒng)計(jì)( 捕獲全局統(tǒng)計(jì)) 與深度特征 ( 捕獲局部統(tǒng)計(jì)數(shù)據(jù)) 相結(jié)合，在基于標(biāo)準(zhǔn)數(shù)據(jù)集的 模板匹配中提升匹配效果。

3. 深度學(xué)習(xí)方法-塊匹配：

近年來，基于深度學(xué)習(xí)的圖像區(qū)域匹配成為研究熱點(diǎn)，卷積神經(jīng)網(wǎng)絡(luò)( CNN) 在局部圖像區(qū)域匹配的應(yīng)用中，根據(jù)是否存在度量層可以分為兩類：

第一類為具有度量層的方法，這類網(wǎng)絡(luò)通常把圖像塊對(duì)匹配問題視為二分類問題。

Han 等 人［79］ 提出的 MatchNet 通過 CNN 進(jìn)行圖像區(qū)域特征提取和相似性度量，過程如圖 11 所示。對(duì)于每個(gè)輸入圖像塊， 特征網(wǎng)絡(luò)輸出一個(gè)固定維度特征，預(yù)處理層的輸入為灰度圖像塊，起到歸一化作用。卷積層激活函數(shù) 為 ＲeLU，瓶頸( bottlebeck) 層為全連接層，能夠降低特征維度并防止網(wǎng)絡(luò)過擬合。采用 3 個(gè)全連接層組 成的度量網(wǎng)絡(luò)計(jì)算特征對(duì)的匹配分?jǐn)?shù)，雙塔結(jié)構(gòu)在監(jiān)督環(huán)境下聯(lián)合訓(xùn)練特征網(wǎng)絡(luò)和度量網(wǎng)絡(luò)。

Zagoruyko 等人［80］ 提出 DeepCompare 方法，通過 CNN 比較灰度圖像塊對(duì)的相似性。該方法對(duì)基礎(chǔ)網(wǎng)絡(luò)框架 Siamese、pseudo-Siamese 和 2 通道( 2ch) 進(jìn)行描述，并在此基礎(chǔ)上采用深度網(wǎng)絡(luò)、中心環(huán)繞雙 流網(wǎng)絡(luò)( central-surround two-stream，2stream) 和空間 金字塔池化( SPP) 網(wǎng)絡(luò)提升基礎(chǔ)框架性能。

為了提高衛(wèi)星影像的配準(zhǔn)率，范大昭等人［81］提出基于空間尺度雙通道深度卷積神經(jīng)網(wǎng)絡(luò)方法 ( BBS-2chDCNN) 。BBS-2chDCNN 是在雙通道深度卷積神經(jīng)網(wǎng)絡(luò)( 2chDCNN) 前端加入空間尺度卷積層，以加強(qiáng)整體網(wǎng)絡(luò)的抗尺度特性。2chDCNN 將待匹配點(diǎn)對(duì)局部合成的兩通道影像作為輸入數(shù)據(jù)，依次進(jìn)行 4 次卷積、ＲeLU 操作、最大池化操作，3 次卷積和 ＲeLU 操作，最后進(jìn)行扁平化和兩次全連接操作輸出一維標(biāo)量結(jié)果。該方法適用于處理異源、多時(shí)相、多分辨率的衛(wèi)星影像，較傳統(tǒng)匹配方法能提取到更為豐富的同名點(diǎn)。

第二類方法不存在度量層，這類網(wǎng)絡(luò)的輸出即為特征描述符，在某些應(yīng)用中可以直接代替?zhèn)鹘y(tǒng)描述符。

Balntas 等人［82］提出的 PN-Net 采用 Triplet 網(wǎng)絡(luò)訓(xùn)練，訓(xùn)練過程如圖 14 所示。圖像塊三元組 T = { p1，p2，n} ，包 括 正 樣 本 對(duì) ( p1，p2 ) 和 負(fù) 樣 本 對(duì) ( p1，n) 、( p2，n) ，采用 SoftPN 損失函數(shù)計(jì)算網(wǎng)絡(luò)輸 出描述子間相似性，以確保最小負(fù)樣本對(duì)距離大于正樣本對(duì)距離。表 2 給出所采用的 CNN 體系結(jié)構(gòu) 的參數(shù)，采用 32 × 32 像素的圖像塊作為輸入，括號(hào)內(nèi)的數(shù)字表示卷積核大小，箭頭后面的數(shù)字表示輸出通道數(shù)，Tanh 為激活函數(shù)。與其他特征描述符相比，PN-Net 具有更高效的描述符提取及匹配性能，能顯著減少訓(xùn)練和執(zhí)行時(shí)間。

Yang 等人［83］提出用于圖像塊表示的一對(duì)互補(bǔ)描述符學(xué)習(xí)框架 DeepCD。該方法采用 Triplet 網(wǎng)絡(luò) 進(jìn)行訓(xùn)練，輸出主描述符( 實(shí)值描述符) 和輔描述符 ( 二值描述符) ，如圖 15 所示，輸入圖像區(qū)域包括正樣本對(duì) ( a，p) ，負(fù)樣本對(duì) ( a，n) 和 ( p，n) ，L 代表 主描述符，C 代表輔描述符，Δ 代表主描述符距離， Δ 珚代表輔描述符距離。數(shù)據(jù)相關(guān)調(diào)制層( DDM) 通過學(xué)習(xí)率的動(dòng)態(tài)調(diào)整實(shí)現(xiàn)輔助描述符對(duì)主導(dǎo)描述符的輔助作用。該方法能夠有效地提高圖像塊描述符在各種應(yīng)用和變換中的性能。

以上這些方法都是對(duì)圖像塊對(duì)或三元組進(jìn)行的處理，Tian 等人［84］提出的 L2-Net 通過 CNN 在歐氏空間將一批圖像塊轉(zhuǎn)換成一批描述符，將批處理中的最近鄰作為正確匹配描述符。如圖 16 所示，每個(gè) 卷積層左邊數(shù)字代表卷積核大小，右邊數(shù)字表示輸出通道數(shù)，2 表示下采樣層的步長; 3 × 3 Conv 由卷積、批歸一化( BN) 和 ＲeLU( rectified linear unit) 組成; 8 × 8 Conv 由卷積和批歸一化( BN) 組成; 局部響應(yīng)歸一化層( LＲN) 作為單元描述符的輸出層，獲 得 128 維描述符。CS L2-Net 由兩個(gè)獨(dú)立 L2-Net 級(jí)聯(lián)成雙塔結(jié)構(gòu)，左側(cè)塔輸入和 L2-Net 相同，右側(cè)塔輸入是中心裁剪后的圖像塊。采用漸進(jìn)式采樣策略，在參與訓(xùn)練的批樣本中，從每對(duì)匹配樣本中隨機(jī)抽取一個(gè)組成若干不匹配樣本，增加負(fù)樣本數(shù)量。與成對(duì)樣本和三元組樣本相比，能夠利用更多負(fù)樣本信息。

比較

2維點(diǎn)匹配
TILDE

https://cvlab.epfl.ch/research/tilde

協(xié)變特征檢測(cè)[17]

http://dvmmweb.cs.columbia.edu/files/3129.pdf

https://github.com/ColumbiaDVMM/Transform_Covariant_Detector

DeepDesc

http://icwww.epfl.ch/~trulls/pdf/iccv-2015-deepdesc.pdf

https://github.com/etrulls/deepdesc-release

LIFT

https://arxiv.org/pdf/1603.09114.pdf

https://github.com/cvlab-epfl/LIFT

Quad-networks

https://arxiv.org/pdf/1611.07571.pdfGMShttp://jwbian.net/gmsVFC

http://www.escience.cn/people/jiayima/cxdm.html

3維點(diǎn)匹配
PPFNet

http://tbirdal.me/downloads/tolga-birdal-cvpr-2018-ppfnet.pdf

文獻(xiàn)[51]

http://cn.arxiv.org/pdf/1802.07869

文獻(xiàn)[49]

http://cn.arxiv.org/pdf/1807.05653

文獻(xiàn)[50]

http://openaccess.thecvf.com/content_ECCV_2018/papers/Hanyu_Wang_Learning_3D_Keypoint_ECCV_2018_paper.pdf

語義匹配
樣本LDA分類器

http://ci2cv.net/media/papers/2015_ICCV_Hilton.pdf

https://github.com/hbristow/epic

AnchorNet

http://openaccess.thecvf.com/content_cvpr_2017/papers/Novotny_AnchorNet_A_Weakly_CVPR_2017_paper.pdf

文獻(xiàn)[28]

http://cn.arxiv.org/pdf/1711.07641

線匹配
LBD

http://www.docin.com/p-1395717977.html

https://github.com/mtamburrano/LBD_Descriptor

新線點(diǎn)投影不變量[61]

https://github.com/dlut-dimt/LineMatching

模板匹配
FAST-Match

http://www.eng.tau.ac.il/~simonk/FastMatch/

CFAST-Match

https://wenku.baidu.com/view/3d96bf9127fff705cc1755270722192e453658a5.html

DDIS

https://arxiv.org/abs/1612.02190

https://github.com/roimehrez/DDIS

DIWU

http://liortalker.wixsite.com/liortalker/code

CoTM

http://openaccess.thecvf.com/content_cvpr_2018/CameraReady/2450.pdf

OATM

http://cn.arxiv.org/pdf/1804.02638

塊匹配
MatchNet

http://www.cs.unc.edu/~xufeng/cs/papers/cvpr15-matchnet.pdf

https://github.com/hanxf/matchnet

DeepCompare

http://imagine.enpc.fr/~zagoruys/publication/deepcompare/

PN-Net

https://arxiv.org/abs/1601.05030

https://github.com/vbalnt/pnnet

L2-Net

http://www.nlpr.ia.ac.cn/fanbin/pub/L2-Net_CVPR17.pdf

https://github.com/yuruntian/L2-Net

DeepCD

https://www.csie.ntu.edu.tw/~cyy/publications/papers/Yang2017DLD.pdf

https://github.com/shamangary/DeepCD