一、 一眼概覽

ZAPS（Zero-Shot Approximate Posterior Sampling）是一種針對擴(kuò)散模型（Diffusion Models, DMs）在逆問題（Inverse Problems）中的高效采樣方法。它利用零樣本學(xué)習(xí)（Zero-Shot Learning）進(jìn)行自適應(yīng)超參數(shù)優(yōu)化，使得擴(kuò)散采樣步驟固定，同時(shí)提高重建質(zhì)量并減少推理時(shí)間。

二、核心問題

當(dāng)前的擴(kuò)散模型在解決逆問題（如去模糊、修復(fù)、超分辨率）時(shí)，存在以下挑戰(zhàn)：

• 需要大量的采樣步驟，導(dǎo)致推理速度慢；
• 現(xiàn)有的噪聲調(diào)度策略（Noise Schedule）在逆問題場景下難以直接適用；
• 傳統(tǒng)方法使用手動(dòng)調(diào)整的對數(shù)似然權(quán)重（Log-Likelihood Weights），不夠魯棒，容易導(dǎo)致次優(yōu)解。論文核心問題：如何在固定的采樣步數(shù)下，提高擴(kuò)散模型的逆問題求解性能，并自適應(yīng)優(yōu)化超參數(shù)？

三、技術(shù)亮點(diǎn)

1. 提出零樣本近似后驗(yàn)采樣（ZAPS）方法：

? 通過零樣本學(xué)習(xí)自動(dòng)優(yōu)化對數(shù)似然權(quán)重，無需手動(dòng)調(diào)整；

? 避免傳統(tǒng)方法中的手工調(diào)參問題，適應(yīng)不同的噪聲調(diào)度。

2. 設(shè)計(jì)基于離散小波變換（DWT）的 Hessian 近似：

? 近似后驗(yàn)的二階信息，提高計(jì)算效率；

 3.優(yōu)化采樣策略，實(shí)現(xiàn)快速收斂：

? 結(jié)合不規(guī)則噪聲調(diào)度（Irregular Noise Schedule），在低噪聲水平更多采樣；

? 相比傳統(tǒng)方法，將采樣步數(shù)從1000步減少到 20-30步，實(shí)現(xiàn)3×加速。

四、方法框架

圖片

ZAPS 通過以下關(guān)鍵步驟完成擴(kuò)散模型的高效后驗(yàn)采樣：

1. 采樣初始化：從噪聲分布開始，設(shè)定固定的采樣步數(shù)（S 步）。

2. 零樣本優(yōu)化：

? 采用自監(jiān)督損失函數(shù)調(diào)整對數(shù)似然權(quán)重 ζt；

? 通過 DWT 近似 Hessian 計(jì)算，提高計(jì)算效率。

3. 逐步采樣更新：

? 交替執(zhí)行擴(kuò)散模型采樣（Score Model Sampling, SMS）和似然引導(dǎo)（Likelihood Guidance, LG）。

4. 最終輸出：生成高質(zhì)量的逆問題重建結(jié)果。

五、實(shí)驗(yàn)結(jié)果速覽

圖片

論文在FFHQ、ImageNet等數(shù)據(jù)集上進(jìn)行了去模糊、修復(fù)、超分辨率等任務(wù)測試，主要結(jié)果如下：

? ZAPS 在超分辨率任務(wù)中比 DPS 提高 2.77dB（PSNR），且計(jì)算時(shí)間減少 3 倍。

? 相較于 DDRM，ZAPS 在相近計(jì)算復(fù)雜度下顯著提升圖像質(zhì)量。

? 實(shí)驗(yàn)驗(yàn)證 ZAPS 在多種逆問題（高斯去模糊、運(yùn)動(dòng)去模糊、超分辨率、圖像修復(fù)）上均表現(xiàn)優(yōu)越。

6. 實(shí)用價(jià)值與應(yīng)用

ZAPS 具備廣泛的實(shí)際應(yīng)用場景：

? 醫(yī)學(xué)影像重建（MRI、CT 降噪）：減少成像時(shí)間，提高細(xì)節(jié)還原能力；

? 自動(dòng)駕駛（圖像去模糊）：提升低光環(huán)境下的視覺感知能力；

? 計(jì)算機(jī)視覺（圖像修復(fù)）：改善低質(zhì)量視頻和照片；

? 遙感成像（超分辨率重建）：提高衛(wèi)星影像質(zhì)量。

7. 開放問題

? ZAPS 是否能推廣到非線性逆問題（如 3D 重建、層析成像）？

? 如果輸入數(shù)據(jù)具有極端噪聲或大尺度失真，ZAPS 的性能如何？

? 該方法是否可用于文本和信號處理領(lǐng)域，如語音降噪、時(shí)序預(yù)測？