一文回顧常見(jiàn)圖像融合方法
背景介紹
圖像融合將多個(gè)源圖像（可能來(lái)自不同傳感器、不同視角、不同時(shí)間點(diǎn)）的信息整合到單一的輸出圖像中，這一過(guò)程旨在通過(guò)有效合并各源圖像中的互補(bǔ)、冗余或獨(dú)特信息，生成一個(gè)既包含所有關(guān)鍵細(xì)節(jié)又具有增強(qiáng)特性的綜合圖像。
例如對(duì)多幀不同曝光設(shè)置下的圖像融合可以實(shí)現(xiàn)高動(dòng)態(tài)范圍（HDR）效果，對(duì)多幀不同焦段的圖像進(jìn)行融合可以得到大景深的圖像，多張連續(xù)拍攝的相同環(huán)境下的圖片可以有效降低圖像中的噪點(diǎn)并提升整體畫質(zhì)，多個(gè)視角的圖像拼接融合可以得到全景圖像。
根據(jù)不同的融合任務(wù)需要設(shè)定不同的準(zhǔn)則，然后對(duì)每張圖像計(jì)算一個(gè)權(quán)重圖。根據(jù)原始圖像和融合權(quán)重圖就可以根據(jù)融合算法計(jì)算結(jié)果。圖像融合算法要保證結(jié)果過(guò)渡自然，清晰度不出現(xiàn)丟失。其余如色彩自然度、細(xì)節(jié)保留、邊緣過(guò)渡、偽影抑制等方面也要盡善盡美。
常見(jiàn)的融合算法可以根據(jù)空間域融合和頻域融合來(lái)劃分：
空間域融合
alpha融合
alpha融合作為最簡(jiǎn)單的融合方法，對(duì)于兩張參與融合的圖像每個(gè)對(duì)應(yīng)位置的像直接進(jìn)行加權(quán)，alpha控制各幀圖像參與融合的比例。
alpha融合適合在前景貼圖、亮度比較接近的圖像之間的拼接任務(wù)，alpha權(quán)重通常為物體的分割結(jié)果，并且為了過(guò)渡自然權(quán)重需要保持一定的平滑性。
金字塔融合
金字塔融合被廣泛應(yīng)用于多曝光融合任務(wù)中，對(duì)于不同亮度圖像間的融合alpha融合很難保證融合mask邊緣亮度過(guò)渡自然，金字塔融合利用圖像金字塔結(jié)構(gòu)來(lái)實(shí)現(xiàn)圖像的多尺度融合，保證過(guò)渡平滑性。
金字塔融合主要涉及權(quán)重的高斯金字塔融合和圖像的拉普拉斯金字塔融合，高斯金字塔是由同一幅圖像經(jīng)過(guò)一系列降采樣和濾波操作構(gòu)建而成的一組不同分辨率的集合，而拉普拉斯金字塔是高斯金字塔每個(gè)尺度的殘差，那么圖像就被分解為低分辨率下的低頻分量和不同尺度下的高頻細(xì)節(jié)。
def gaussian_kernel(size=5, sigma=0.4):
return cv2.getGaussianKernel(ksize=size, sigma=sigma)
def image_reduce(image):
kernel = gaussian_kernel()
# out_image = cv2.filter2D(image, cv2.CV_32FC3, kernel)
out_image = cv2.resize(image, None, fx=0.5, fy=0.5, interpolatinotallow=cv2.INTER_CUBIC)
return out_image
def image_expand(image, shape_1, shape_0):
kernel = gaussian_kernel()
out_image = cv2.resize(image, (shape_1, shape_0), interpolatinotallow=cv2.INTER_CUBIC)
# out_image = cv2.filter2D(out_image, cv2.CV_32FC3, kernel)
return out_image
def gaussian_pyramid(img, depth):
G = img.copy()
gp = [G]
for i in range(depth):
G = image_reduce(G)
gp.append(G)
return gp
def laplacian_pyramid(img, depth):
gp = gaussian_pyramid(img, depth + 1)
lp = [gp[depth - 1]]
for i in range(depth - 1, 0, -1):
GE = image_expand(gp[i], gp[i - 1].shape[1], gp[i - 1].shape[0])
L = cv2.subtract(gp[i - 1], GE)
lp = [L] + lp
return lp
對(duì)于每個(gè)尺度分別進(jìn)行alpha融合得到該層融合結(jié)果，最后對(duì)融合結(jié)果的拉普拉斯金字塔做一次重建（當(dāng)前層上采樣疊加上一層）就可以得到融合結(jié)果。
泊松融合
圖像泊松融合（Poisson Blending）是一種先進(jìn)的圖像編輯技術(shù)，主要用于將源圖像中的某個(gè)物體或區(qū)域無(wú)縫地嵌入到目標(biāo)圖像中，創(chuàng)建出自然、無(wú)明顯接縫的新圖像。這一技術(shù)基于泊松方程及其在圖像處理中的應(yīng)用，特別適用于需要精確匹配源圖像和目標(biāo)圖像之間光照、紋理和色彩的情況，以實(shí)現(xiàn)難以察覺(jué)的融合效果。
相較于Alpha融合，泊松融合對(duì)源圖像融合邊緣的精確性要求較低，不需要α mask精確的把物體貼邊的截取出來(lái)，仍能實(shí)現(xiàn)較好的融合效果。
泊松融合的原理如下：v代表目標(biāo)圖像D的原始梯度場(chǎng)， g代表目標(biāo)圖像D的原始標(biāo)量場(chǎng)（亮度），現(xiàn)在需要把目標(biāo)圖像這部分區(qū)域融進(jìn)源圖像S中，重建的融合結(jié)果我們?cè)O(shè)為f：
一方面我們希望f的結(jié)構(gòu)信息（梯度）和目標(biāo)圖像D的梯度v不要有太大的變化，另一方面也希望f融合邊界Ω的亮度和源圖像S的邊界亮度要相等，這樣才能有一個(gè)平滑的過(guò)渡：
對(duì)于這個(gè)泛函方程的求解，帶入歐拉-拉格朗日方程后，可以看成帶有狄利克雷邊界條件的泊松方程：
這里三角形代表亮度標(biāo)量場(chǎng)的拉普拉斯算子，div代表梯度矢量場(chǎng)的散度。根據(jù)不同的需求散度可以直接等于目標(biāo)圖像D的散度，也可以對(duì)前后景D和S的散度做一些混合（mixed）。
補(bǔ)充材料：淺談矢量場(chǎng) -- 1.梯度、散度與拉普拉斯算子：https://blog.csdn.net/poisonchry/article/details/114387703
IHS融合
IHS融合（Intensity-Hue-Saturation Fusion）是一種主要用于遙感圖像處理領(lǐng)域的圖像融合技術(shù)，針對(duì)多光譜圖像與高分辨率全色圖像進(jìn)行融合。其目的是結(jié)合多光譜圖像豐富的光譜信息與全色圖像的高空間分辨率，生成一幅既具有高空間細(xì)節(jié)又包含多光譜特征的融合圖像。
通過(guò)HIS變換將多光譜圖像低空間分辨率的強(qiáng)度分量I和顏色成分H、S區(qū)分開(kāi)，然后將全色圖像高空間分辨率的強(qiáng)度分量替換過(guò)來(lái)，就可以得到一張色度和飽和度分量保持不變并且分辨率提升的圖像。最后反HIS變換得到最終輸出，即達(dá)到了空間分辨率的提升也對(duì)光譜信息和色彩做了保留。
PCA融合
主成分分析（PCA）被廣泛應(yīng)用于數(shù)據(jù)降維，通過(guò)一組小于原始維度數(shù)量的基底P對(duì)原始數(shù)據(jù)X進(jìn)行線性變換，將大量相關(guān)變量的信息濃縮到少數(shù)幾個(gè)主成分中。其中每個(gè)主成分反映原始變量的大部分信息，特征值表示對(duì)應(yīng)主成分所解釋的原始數(shù)據(jù)的總方差比例。
PCA融合與IHS融合一樣主要應(yīng)用在遙感圖像處理領(lǐng)域中，將具有不同特性的多光譜圖像（高光譜分辨率、低空間分辨率）與全色圖像（高空間分辨率、低光譜分辨率）結(jié)合起來(lái)，生成同時(shí)具備高空間分辨率和高光譜分辨率的融合圖像。
實(shí)際處理中對(duì)于多光譜圖像首先進(jìn)行PCA分析，找出波段間協(xié)方差矩陣的主要特征向量（主成分），這些主成分代表了多光譜數(shù)據(jù)的主要變異方向，即光譜信息的主要組成部分。
對(duì)于全色圖像將像素值（單波段）經(jīng)過(guò)某種方式（如直方圖匹配）調(diào)整，使其與多光譜圖像的第一主成分（通常包含最多光譜信息）相匹配，使兩者在光譜層面有一定的對(duì)應(yīng)關(guān)系。
最后將調(diào)整后的全色圖像（攜帶空間細(xì)節(jié)）與多光譜圖像（攜帶光譜信息）按照某種規(guī)則（如加權(quán)平均、替換低頻部分等）進(jìn)行融合，生成最終的高空間分辨率、高光譜分辨率的融合圖像。
補(bǔ)充材料：PCA主成分分析學(xué)習(xí)總結(jié) (https://zhuanlan.zhihu.com/p/32412043)，奇異值分解SVD（https://zhuanlan.zhihu.com/p/29846048）
頻域融合
DCT融合
DCT變換將像素域的數(shù)據(jù)轉(zhuǎn)換到頻率域，頻域中圖像的能量主要集中在低頻部分，高頻部分則包含了更多的細(xì)節(jié)和邊緣信息。我們可以利用多幀圖像各自的頻譜特性取長(zhǎng)補(bǔ)短，提高圖像的細(xì)節(jié)等部分。
圖像分塊：將輸入的各幀圖像分割成大小相同的子塊。
DCT變換：對(duì)每個(gè)子塊分別進(jìn)行DCT變換轉(zhuǎn)換到頻率域。
融合規(guī)則：在DCT域內(nèi)，通常依據(jù)各子塊的頻率特性進(jìn)行融合操作，如高頻信息融合保留圖像的高頻部分，因?yàn)槠涮峁┝烁S富的空間細(xì)節(jié)。低頻信息融合根據(jù)圖像的空間結(jié)構(gòu)信息，通過(guò)加權(quán)、插值等方式融合低頻部分。
逆DCT變換：A將融合后的DCT系數(shù)進(jìn)行逆變換得到融合后的子塊圖像，并將所有融合后的子塊拼接起來(lái)形成完整的融合圖像。
在多景深合成任務(wù)中，融合準(zhǔn)則設(shè)計(jì)為低頻做平均、高頻取最大值的策略，可以看到融合結(jié)果清晰度恢復(fù)效果比較好，并且也沒(méi)有明顯的塊效應(yīng)。
小波融合
小波分析能夠同時(shí)捕獲圖像的頻率和空間信息，使得在融合過(guò)程中能夠有效地保留源圖像的細(xì)節(jié)和結(jié)構(gòu)特征。DWT 融合的基本步驟與DCT基本類似：首先對(duì)各幀圖像進(jìn)行小波變換，然后按照一定的融合準(zhǔn)則對(duì)各幀的變換系數(shù)進(jìn)行加權(quán)處理合并為一幀，最后對(duì)合并的單幀系數(shù)進(jìn)行小波逆變換得到最后融合圖像。
這里依然以多景深融合為例展示融合的過(guò)程，由于多景深融合需要取各幀清晰度高的地方，因此融合準(zhǔn)則是取變換后系數(shù)的大數(shù)融合：
論文匯總
本文轉(zhuǎn)自 AI生成未來(lái) ，作者無(wú)關(guān)風(fēng)月
