1. 一眼概覽

ZeroDiff 提出了一種基于擴(kuò)散模型的生成式零樣本學(xué)習(xí)（ZSL）方法，提升數(shù)據(jù)利用效率，實(shí)現(xiàn)類(lèi)別級(jí)和實(shí)例級(jí)的增強(qiáng)。在多個(gè)ZSL基準(zhǔn)數(shù)據(jù)集上，ZeroDiff 取得了顯著的性能提升，特別是在數(shù)據(jù)稀缺情況下仍保持穩(wěn)健。

2. 核心問(wèn)題

零樣本學(xué)習(xí)（ZSL）試圖在無(wú)訓(xùn)練樣本的情況下識(shí)別新類(lèi)別，主要依賴于已知類(lèi)別的語(yǔ)義信息。然而，現(xiàn)有方法高度依賴于已有類(lèi)別的數(shù)據(jù)量，忽視了實(shí)例級(jí)數(shù)據(jù)有效性的問(wèn)題。當(dāng)訓(xùn)練樣本不足時(shí)，現(xiàn)有生成式方法（如GANs）容易崩潰，導(dǎo)致性能下降。因此，如何在有限訓(xùn)練數(shù)據(jù)下仍能有效生成逼真的類(lèi)別特征，是本研究的核心問(wèn)題。

3. 技術(shù)亮點(diǎn)

• 擴(kuò)散噪聲增強(qiáng)實(shí)例級(jí)數(shù)據(jù)利用效率：利用前向擴(kuò)散鏈將有限數(shù)據(jù)轉(zhuǎn)換為擴(kuò)增的帶噪數(shù)據(jù)，從而增強(qiáng)泛化能力，避免生成模型過(guò)擬合。
• 雙分支擴(kuò)散生成結(jié)構(gòu)：結(jié)合擴(kuò)散特征生成器（DFG） 和 擴(kuò)散表示生成器（DRG），分別學(xué)習(xí)交叉熵特征分布和對(duì)比學(xué)習(xí)表示，協(xié)同增強(qiáng)類(lèi)別級(jí)生成能力。
• 多判別器+互學(xué)習(xí)損失：引入三種判別器，從不同角度評(píng)估生成特征，并設(shè)計(jì)基于Wasserstein距離的互學(xué)習(xí)損失，實(shí)現(xiàn)不同判別器的知識(shí)傳遞，提升生成質(zhì)量。

4. 方法框架

ZeroDiff 通過(guò)以下關(guān)鍵步驟進(jìn)行零樣本學(xué)習(xí)：

• 特征提取與預(yù)訓(xùn)練：

a.采用ResNet-101提取視覺(jué)特征，并進(jìn)行交叉熵（CE）和監(jiān)督對(duì)比（SC）學(xué)習(xí)。

• 擴(kuò)散表示生成（DRG）：

? 訓(xùn)練基于擴(kuò)散的表示生成器，學(xué)習(xí)潛在語(yǔ)義表示并凍結(jié)模型，為后續(xù)特征生成提供支持。

• 擴(kuò)散特征生成（DFG）：

 通過(guò)擴(kuò)散模型生成具有噪聲擾動(dòng)的特征，并利用判別器進(jìn)行質(zhì)量評(píng)估。

• 訓(xùn)練最終分類(lèi)器：

• ? 結(jié)合生成特征進(jìn)行ZSL/GZSL分類(lèi)，評(píng)估ZeroDiff的泛化能力。

5. 實(shí)驗(yàn)結(jié)果速覽

基準(zhǔn)測(cè)試對(duì)比

在AWA2、CUB、SUN 三個(gè)數(shù)據(jù)集上，ZeroDiff 取得了新的SOTA性能：

? ZSL (Top-1 Accuracy):

AWA2: 86.4%（提升10.5%）

CUB: 87.5%（提升1.7%）

SUN: 77.3%（提升0.1%）

? GZSL (Harmonic Mean H):

        AWA2: 79.5%（領(lǐng)先于次優(yōu)方法 73.7%）

        CUB: 81.6%（超過(guò)次優(yōu)方法 81.1%）

訓(xùn)練數(shù)據(jù)不足情況下的對(duì)比

當(dāng)僅有10%訓(xùn)練數(shù)據(jù)時(shí)：

? 傳統(tǒng)GAN-based方法（如f-VAEGAN）精度大幅下降，而ZeroDiff 仍能保持較高準(zhǔn)確率（83.3%）。

? t-SNE可視化顯示，ZeroDiff 生成的未見(jiàn)類(lèi)別特征保持穩(wěn)定，而f-VAEGAN 出現(xiàn)崩潰現(xiàn)象。

6. 實(shí)用價(jià)值與應(yīng)用

ZeroDiff 在以下數(shù)據(jù)有限的任務(wù)中具有廣泛應(yīng)用潛力：

• 計(jì)算機(jī)視覺(jué)：目標(biāo)檢測(cè)、圖像分類(lèi)任務(wù)中的零樣本泛化。
• 醫(yī)學(xué)影像分析：處理稀缺病癥數(shù)據(jù)，提高診斷模型的泛化能力。
• 自動(dòng)駕駛：在低數(shù)據(jù)場(chǎng)景下增強(qiáng)目標(biāo)識(shí)別能力。
• 自然語(yǔ)言處理：結(jié)合文本生成，實(shí)現(xiàn)更高效的跨模態(tài)學(xué)習(xí)。

7. 開(kāi)放問(wèn)題

• ZeroDiff 在更復(fù)雜的真實(shí)世界數(shù)據(jù)（如長(zhǎng)尾分布數(shù)據(jù)）下表現(xiàn)如何？
• 能否結(jié)合大規(guī)模預(yù)訓(xùn)練擴(kuò)散模型，如Stable Diffusion，提升ZSL能力？
• 該方法是否可以推廣到跨模態(tài)生成任務(wù)，如文本到圖像生成？