一眼概覽

MDMS-Diffusion 提出了一種多域多尺度擴散模型（Multi-Domain Multi-Scale Diffusion Model），通過結(jié)合空間-頻率特征學(xué)習(xí)和多尺度采樣策略，突破低光圖像增強的現(xiàn)有局限，實現(xiàn)了無損降噪和高保真度的圖像恢復(fù)，在 LOL 和 LOLv2 數(shù)據(jù)集上達到了 SOTA 級別的性能。

核心問題

在低光條件下拍攝的圖像往往存在低對比度和高噪聲問題，不僅影響視覺質(zhì)量，還會降低下游計算機視覺任務(wù)（如目標(biāo)檢測、分割等）的準(zhǔn)確性。當(dāng)前的擴散模型主要在空間域建模噪聲分布，而忽略了頻率域信息。此外，傳統(tǒng)的單尺度補丁采樣策略容易引發(fā)嚴(yán)重的棋盤格偽影。本研究提出 MDMS-Diffusion 模型，以同時解決這兩個問題。

技術(shù)亮點

1. 空間-頻率融合學(xué)習(xí)：提出多域?qū)W習(xí)（Multi-Domain Learning, MDL）模塊，結(jié)合 Fast Fourier Transform (FFT) 提取的頻率域信息，以更全面地建模圖像特征，提高低光圖像增強的質(zhì)量。

2. 多尺度采樣策略：通過不同分辨率補丁的融合（64×64、96×96、128×128），平滑邊界區(qū)域，避免傳統(tǒng)單尺度方法導(dǎo)致的棋盤格偽影問題。

3. 亮通道先驗（Bright Channel Prior, BCP）引導(dǎo)：基于自然圖像的統(tǒng)計規(guī)律，為擴散過程提供額外的光照和顏色信息，引導(dǎo)生成更自然的增強圖像。

方法框架

圖片

MDMS-Diffusion 采用 U-Net 結(jié)構(gòu)，并引入以下關(guān)鍵模塊：

1. 多域?qū)W習(xí)（MDL）：空間域和頻率域雙分支處理，分別提取局部/全局信息，并利用 IFFT 變換回到空間域，實現(xiàn)特征融合。

2. 多尺度采樣（MSS）：在采樣過程中，利用不同大小的補丁提取信息，并在融合階段合并多尺度結(jié)果，以平滑圖像邊界。

3. 亮通道先驗（BCP）：基于圖像亮度通道信息提供先驗引導(dǎo)，增強色彩和光照一致性，減少失真。

實驗結(jié)果速覽

圖片

實驗結(jié)果表明，MDMS-Diffusion 在 LOL 和 LOLv2 數(shù)據(jù)集上均達到 SOTA 性能：

? LOL 數(shù)據(jù)集：PSNR 27.12 dB，SSIM 0.882，LPIPS 0.078，相比現(xiàn)有最佳方法 Pydiff（27.07 dB）略有提升，尤其在 LPIPS 指標(biāo)上顯著降低。

? LOLv2-Real 數(shù)據(jù)集：PSNR 提升至 33.30 dB，相比 Pydiff（31.11 dB）提高 2.19 dB，表明該方法在真實低光圖像上的泛化能力更強。

? 多尺度采樣策略分析：相比傳統(tǒng)單尺度方法，MSS 采樣策略能夠顯著減少棋盤格偽影，使增強圖像更平滑自然。

??數(shù)據(jù)呈現(xiàn)方式

? 表格：對比現(xiàn)有方法（Zero-DCE、LLFlow、Pydiff 等）的性能指標(biāo)（PSNR/SSIM/LPIPS）。

? 圖示：展示不同方法的增強效果，包括細(xì)節(jié)保留、光照均衡度等。

實用價值與應(yīng)用

MDMS-Diffusion 可廣泛應(yīng)用于低光環(huán)境下的計算機視覺任務(wù)，例如：

• ? 自動駕駛：提高夜間和低光環(huán)境下的視覺感知能力，增強目標(biāo)檢測和分割的準(zhǔn)確性。
• ? 視頻監(jiān)控：改善夜間監(jiān)控視頻的清晰度，有助于犯罪預(yù)防和證據(jù)采集。
• ? 醫(yī)療成像：適用于低光醫(yī)學(xué)圖像增強，提高診斷準(zhǔn)確度。
• ? 機器人導(dǎo)航：提升機器人在弱光環(huán)境下的視覺感知能力，提高定位和避障能力。

開放問題

1. MDMS-Diffusion 在極端低光場景（如紅外或夜視成像）下的適應(yīng)性如何？是否需要進一步調(diào)整先驗或結(jié)構(gòu)？

2. 多域?qū)W習(xí)是否可以擴展到其他圖像增強任務(wù)，如超分辨率或去噪？頻率域特征的深度建模是否會帶來進一步提升？

3. 如何在計算資源受限的環(huán)境下優(yōu)化該模型，使其適用于移動端或嵌入式設(shè)備？