本綜述（Diffusion Models: A Comprehensive Survey of Methods and Applications）來(lái)自加州大學(xué)&Google Research的Ming-Hsuan Yang、北京大學(xué)崔斌實(shí)驗(yàn)室以及CMU、UCLA、蒙特利爾Mila研究院等眾研究團(tuán)隊(duì)，首次對(duì)現(xiàn)有的擴(kuò)散生成模型（diffusion model）進(jìn)行了全面的總結(jié)分析，從diffusion model算法細(xì)化分類(lèi)、和其他五大生成模型的關(guān)聯(lián)以及在七大領(lǐng)域中的應(yīng)用等方面展開(kāi)，最后提出了diffusion model的現(xiàn)有l(wèi)imitation和未來(lái)的發(fā)展方向。

文章鏈接：https://arxiv.org/abs/2209.00796本綜述diffusion models論文分類(lèi)匯總github鏈接：https://github.com/YangLing0818/Diffusion-Models-Papers-Survey-Taxonomy

1 介紹

擴(kuò)散模型（diffusion models）是深度生成模型中新的SOTA。擴(kuò)散模型在圖片生成任務(wù)中超越了原SOTA：GAN，并且在諸多應(yīng)用領(lǐng)域都有出色的表現(xiàn)，如計(jì)算機(jī)視覺(jué)，NLP、波形信號(hào)處理、多模態(tài)建模、分子圖建模、時(shí)間序列建模、對(duì)抗性?xún)艋取４送?，擴(kuò)散模型與其他研究領(lǐng)域有著密切的聯(lián)系，如穩(wěn)健學(xué)習(xí)、表示學(xué)習(xí)、強(qiáng)化學(xué)習(xí)。

然而，原始的擴(kuò)散模型也有缺點(diǎn)，它的采樣速度慢，通常需要數(shù)千個(gè)評(píng)估步驟才能抽取一個(gè)樣本；它的最大似然估計(jì)無(wú)法和基于似然的模型相比；它泛化到各種數(shù)據(jù)類(lèi)型的能力較差。如今很多研究已經(jīng)從實(shí)際應(yīng)用的角度解決上述限制做出了許多努力，或從理論角度對(duì)模型能力進(jìn)行了分析。

然而，現(xiàn)在缺乏對(duì)擴(kuò)散模型從算法到應(yīng)用的最新進(jìn)展的系統(tǒng)回顧。為了反映這一快速發(fā)展領(lǐng)域的進(jìn)展，我們對(duì)擴(kuò)散模型進(jìn)行了首個(gè)全面綜述。我們?cè)O(shè)想我們的工作將闡明擴(kuò)散模型的設(shè)計(jì)考慮和先進(jìn)方法，展示其在不同領(lǐng)域的應(yīng)用，并指出未來(lái)的研究方向。此綜述的概要如下圖所示：

盡管diffusion model在各類(lèi)任務(wù)中都有著優(yōu)秀的表現(xiàn)，它仍還有自己的缺點(diǎn)，并有諸多研究對(duì)diffusion model進(jìn)行了改善。

為了系統(tǒng)地闡明diffusion model的研究進(jìn)展，我們總結(jié)了原始擴(kuò)散模型的三個(gè)主要缺點(diǎn)，采樣速度慢，最大化似然差、數(shù)據(jù)泛化能力弱，并提出將的diffusion models改進(jìn)研究分為對(duì)應(yīng)的三類(lèi)：采樣速度提升、最大似然增強(qiáng)和數(shù)據(jù)泛化增強(qiáng)。

我們首先說(shuō)明改善的動(dòng)機(jī)，再根據(jù)方法的特性將每個(gè)改進(jìn)方向的研究進(jìn)一步細(xì)化分類(lèi)，從而清楚的展現(xiàn)方法之間的聯(lián)系與區(qū)別。在此我們僅選取部分重要方法為例， 我們的工作中對(duì)每類(lèi)方法都做了詳細(xì)的介紹，內(nèi)容如圖所示：

在分析完三類(lèi)擴(kuò)散模型后，我們將介紹其他的五種生成模型GAN，VAE，Autoregressive model, Normalizing flow, Energy-based model。

考慮到擴(kuò)散模型的優(yōu)良性質(zhì)，研究者們已經(jīng)根據(jù)其特性將diffusion model與其他生成模型結(jié)合，所以為了進(jìn)一步展現(xiàn)diffusion model 的特點(diǎn)和改進(jìn)工作，我們?cè)敿?xì)地介紹了diffusion model和其他生成模型的結(jié)合的工作并闡明了在原始生成模型上的改進(jìn)之處。

Diffusion model在諸多領(lǐng)域都有著優(yōu)異的表現(xiàn)，并且考慮到不同領(lǐng)域的應(yīng)用中diffusion model產(chǎn)生了不同的變形，我們系統(tǒng)地介紹了diffusion model的應(yīng)用研究，其中包含如下領(lǐng)域：計(jì)算機(jī)視覺(jué)，NLP、波形信號(hào)處理、多模態(tài)建模、分子圖建模、時(shí)間序列建模、對(duì)抗性?xún)艋?。?duì)于每個(gè)任務(wù)，我們定義了該任務(wù)并介紹利用擴(kuò)散模型處理任務(wù)的工作，我們將本項(xiàng)工作的主要貢獻(xiàn)總結(jié)如下：

• 新的分類(lèi)方法：我們對(duì)擴(kuò)散模型和其應(yīng)用提出了一種新的、系統(tǒng)的分類(lèi)法。具體的我們將模型分為三類(lèi)：采樣速度增強(qiáng)、最大似然估計(jì)增強(qiáng)、數(shù)據(jù)泛化增強(qiáng)。進(jìn)一步地，我們將擴(kuò)散模型的應(yīng)用分為七類(lèi)：計(jì)算機(jī)視覺(jué)，NLP、波形信號(hào)處理、多模態(tài)建模、分子圖建模、時(shí)間序列建模、對(duì)抗性?xún)艋?/span>
• 全面的回顧：我們首次全面地概述了現(xiàn)代擴(kuò)散模型及其應(yīng)用。我們展示了每種擴(kuò)散模型的主要改進(jìn)，和原始模型進(jìn)行了必要的比較，并總結(jié)了相應(yīng)的論文。對(duì)于擴(kuò)散模型的每種類(lèi)型的應(yīng)用，我們展示了擴(kuò)散模型要解決的主要問(wèn)題，并說(shuō)明它們?nèi)绾谓鉀Q這些問(wèn)題。
• 未來(lái)研究方向：我們對(duì)未來(lái)研究提出了開(kāi)放型問(wèn)題，并對(duì)擴(kuò)散模型在算法和應(yīng)用方面的未來(lái)發(fā)展提供了一些建議。

2 擴(kuò)散模型基礎(chǔ)

生成式建模的一個(gè)核心問(wèn)題是模型的靈活性和可計(jì)算性之間的權(quán)衡。擴(kuò)散模型的基本思想是正向擴(kuò)散過(guò)程來(lái)系統(tǒng)地?cái)_動(dòng)數(shù)據(jù)中的分布，然后通過(guò)學(xué)習(xí)反向擴(kuò)散過(guò)程恢復(fù)數(shù)據(jù)的分布，這樣就了產(chǎn)生一個(gè)高度靈活且易于計(jì)算的生成模型。

（1）Denoising Diffusion Probabilistic Models（DDPM）

一個(gè)DDPM由兩個(gè)參數(shù)化馬爾可夫鏈組成，并使用變分推斷以在有限時(shí)間后生成與原始數(shù)據(jù)分布一致的樣本。前向鏈的作用是擾動(dòng)數(shù)據(jù)，它根據(jù)預(yù)先設(shè)計(jì)的噪聲進(jìn)度向數(shù)據(jù)逐漸加入高斯噪聲，直到數(shù)據(jù)的分布趨于先驗(yàn)分布，即標(biāo)準(zhǔn)高斯分布。反向鏈從給定的先驗(yàn)開(kāi)始并使用參數(shù)化的高斯轉(zhuǎn)換核，學(xué)習(xí)逐步恢復(fù)原數(shù)據(jù)分布。用表示原始數(shù)據(jù)及其分布,則前向鏈的分布是可由下式表達(dá)：

這說(shuō)明前向鏈?zhǔn)邱R爾可夫過(guò)程，是加入t步噪音后的樣本，是事先給定的控制噪聲進(jìn)度的參數(shù)。當(dāng) 趨于1時(shí)，可以近似認(rèn)為服從標(biāo)準(zhǔn)高斯分布。當(dāng)很小時(shí)，逆向過(guò)程的轉(zhuǎn)移核可以近似認(rèn)為也是高斯的：

我們可以將變分下界作為損失函數(shù)進(jìn)行學(xué)習(xí)：

（2）Score-Based Generative Models（SGM）

上述DDPM可以視作SGM的離散形式。SGM構(gòu)造一個(gè)隨機(jī)微分方程（SDE）來(lái)平滑的擾亂數(shù)據(jù)分布，將原始數(shù)據(jù)分布轉(zhuǎn)化到已知的先驗(yàn)分布：

和一個(gè)相應(yīng)的逆向SDE，來(lái)將先驗(yàn)分布變換回原始數(shù)據(jù)分布：

因此，要逆轉(zhuǎn)擴(kuò)散過(guò)程并生成數(shù)據(jù)，我們需要的唯一信息就是在每個(gè)時(shí)間點(diǎn)的分?jǐn)?shù)函數(shù)。利用score-matching的技巧我們可以通過(guò)如下?lián)p失函數(shù)來(lái)學(xué)習(xí)分?jǐn)?shù)函數(shù)：

對(duì)兩種方法的進(jìn)一步介紹和兩者關(guān)系的介紹請(qǐng)參見(jiàn)我們的文章。原始擴(kuò)散模型的三個(gè)主要缺點(diǎn)，采樣速度慢，最大化似然差、數(shù)據(jù)泛化能力弱。最近許多研究都在解決這些缺點(diǎn)，因此我們將改進(jìn)的擴(kuò)散模型分為三類(lèi)：采樣速度提升、最大似然增強(qiáng)和數(shù)據(jù)泛化增強(qiáng)。在接下來(lái)的三、四、五節(jié)我們將對(duì)這三類(lèi)模型進(jìn)行詳細(xì)的介紹。

3 采樣加速方法

在應(yīng)用時(shí)，為了讓新樣本的質(zhì)量達(dá)到最佳，擴(kuò)散模型往往需要進(jìn)行成千上萬(wàn)步計(jì)算來(lái)獲取一個(gè)新樣本。這限制了diffusion model的實(shí)際應(yīng)用價(jià)值，因?yàn)樵趯?shí)際應(yīng)用時(shí)，我們往往需要產(chǎn)生大量的新樣本，來(lái)為下一步處理提供材料。

研究者們?cè)谔岣遜iffusion model采樣速度上進(jìn)行了大量的研究。我們對(duì)這些研究進(jìn)行了詳細(xì)的闡述。我們將其細(xì)化分類(lèi)為三種方法：Discretization Optimization，Non-Markovian Process，Partial Sampling。

（1）Discretization Optimization方法優(yōu)化求解diffusion SDE的方法。因?yàn)楝F(xiàn)實(shí)中求解復(fù)雜SDE只能使用離散解來(lái)逼近真正的解，所以該類(lèi)方法試圖優(yōu)化SDE的離散化方法，在保證樣本質(zhì)量的同時(shí)減少離散步數(shù)。SGM 提出了一個(gè)通用的方法來(lái)求解逆向過(guò)程，即對(duì)前向和后向過(guò)程采取相同的離散方法。如果給定了前向SDE的離散方式：

那么我們就可以以相同的方式離散化逆向SDE：

這種方法比樸素DDPM效果略好一點(diǎn)。進(jìn)一步，SGM向SDE求解器中加入了一個(gè)矯正器，從而讓每一步生成的樣本都有正確的分布。在求解的每一步，求解器給出一個(gè)樣本后，矯正器都使用馬爾可夫鏈蒙特卡羅方法來(lái)矯正剛生成的樣本的分布。實(shí)驗(yàn)表明向求解器中加入矯正器比直接增加求解器的步數(shù)效率更高。

（2）Non-Markovian Process方法突破了原有Markovian Process的限制，其逆過(guò)程的每一步可以依賴(lài)更多以往的樣本來(lái)進(jìn)行預(yù)測(cè)新樣本，所以在步長(zhǎng)較大時(shí)也能做出較好的預(yù)測(cè)，從而加速采樣過(guò)程。其中主要的工作DDIM，不再假設(shè)前向過(guò)程是馬爾可夫過(guò)程，而是服從如下分布：

DDIM的采樣過(guò)程可以視為離散化的神經(jīng)常微分方程，其采樣過(guò)程更高效，并且支持樣本的內(nèi)插。進(jìn)一步的研究發(fā)現(xiàn)DDIM可以視作流形上擴(kuò)散模型PNDM的特例。

（3）Partial Sampling方法通過(guò)在generation process中忽略一部分的時(shí)間節(jié)點(diǎn)，而只使用剩下的時(shí)間節(jié)點(diǎn)來(lái)生成樣本，直接減少了采樣時(shí)間。例如，Progressive Distillation從訓(xùn)練好的擴(kuò)散模型中蒸餾出效率更高的擴(kuò)散模型。對(duì)于訓(xùn)練好的一個(gè)擴(kuò)散模型，Progressive Distillation會(huì)從新訓(xùn)練一個(gè)擴(kuò)散模型，使新的擴(kuò)散模型的一步對(duì)應(yīng)于訓(xùn)練好的擴(kuò)散模型的兩步，這樣新模型就可以省去老模型一半的采樣過(guò)程。具體算法如下：

不斷循環(huán)這個(gè)蒸餾過(guò)程就能讓采樣步驟指數(shù)級(jí)下降。

4 最大似然估計(jì)加強(qiáng)

擴(kuò)散模型在最大似然估計(jì)的表現(xiàn)差于基于似然函數(shù)的生成模型，但最大化似然估計(jì)在諸多應(yīng)用場(chǎng)景都有重要意義，比如圖片壓縮, 半監(jiān)督學(xué)習(xí), 對(duì)抗性?xún)艋?。由于?duì)數(shù)似然難以直接計(jì)算，研究主要集中在優(yōu)化和分析變分下界（VLB）。我們對(duì)提高擴(kuò)散模型最大似然估計(jì)的模型進(jìn)行了詳細(xì)的闡述。我們將其細(xì)化分類(lèi)為三類(lèi)方法：Objectives Designing，Noise Schedule Optimization，Learnable Reverse Variance。

（1）Objectives Designing方法利用擴(kuò)散 SDE推倒出生成數(shù)據(jù)的對(duì)數(shù)似然與分?jǐn)?shù)函數(shù)匹配的損失函數(shù)的關(guān)系。這樣通過(guò)適當(dāng)設(shè)計(jì)損失函數(shù)，就可以最大化 VLB 和對(duì)數(shù)似然。Song et al. 證明了可以設(shè)計(jì)損失函數(shù)的權(quán)重函數(shù)，使得plug-in reverse SDE 生成樣本的似然函數(shù)值小于等于損失函數(shù)值，即損失函數(shù)是似然函數(shù)的上界。分?jǐn)?shù)函數(shù)擬合的損失函數(shù)如下：

我們只需將權(quán)重函數(shù)設(shè)為擴(kuò)散系數(shù)g（t）即可讓損失函數(shù)成為似然函數(shù)的VLB，即：

（2）Noise Schedule Optimization通過(guò)設(shè)計(jì)或?qū)W習(xí)前向過(guò)程的噪聲進(jìn)度來(lái)增大VLB。VDM證明了當(dāng)離散步數(shù)接近無(wú)窮時(shí)，損失函數(shù)完全由信噪比函數(shù)SNR（t）的端點(diǎn)決定：

那么在離散步數(shù)接近無(wú)窮時(shí)，可以通過(guò)學(xué)習(xí)信噪比函數(shù)SNR（t）的端點(diǎn)最優(yōu)化VLB，而通過(guò)學(xué)習(xí)信噪比函數(shù)中間部分的函數(shù)值來(lái)實(shí)現(xiàn)模型其他方面的改進(jìn)。3.Learnable Reverse Variance方法學(xué)習(xí)反向過(guò)程的方差，從而較少擬合誤差，可以有效地最大化VLB。Analytic-DPM證明，在DDPM和DDIM中存在反向過(guò)程中的最優(yōu)期望和方差：

使用上述公式和訓(xùn)練好的分?jǐn)?shù)函數(shù)，在給定前向過(guò)程的條件下，最優(yōu)的VLB可以近似達(dá)到。

5 數(shù)據(jù)泛化增強(qiáng)

擴(kuò)散模型假設(shè)數(shù)據(jù)存在于歐幾里得空間，即具有平面幾何形狀的流形，并添加高斯噪聲將不可避免地將數(shù)據(jù)轉(zhuǎn)換為連續(xù)狀態(tài)空間，所以擴(kuò)散模型最初只能處理圖片等連續(xù)性數(shù)據(jù)，直接應(yīng)用離散數(shù)據(jù)或其他數(shù)據(jù)類(lèi)型的效果較差。這限制了擴(kuò)散模型的應(yīng)用場(chǎng)景。

數(shù)個(gè)研究工作將擴(kuò)散模型推廣到適用于其他數(shù)據(jù)類(lèi)型的模型，我們對(duì)這些方法進(jìn)行了詳細(xì)地闡釋。我們將其細(xì)化分類(lèi)為兩類(lèi)方法：Feature Space Unification，Data-Dependent Transition Kernels。

（1）Feature Space Unification方法將數(shù)據(jù)轉(zhuǎn)化到統(tǒng)一形式的latent space，然后再latent space上進(jìn)行擴(kuò)散。LSGM提出將數(shù)據(jù)通過(guò)VAE框架先轉(zhuǎn)換到連續(xù)的latent space 上后再在其上進(jìn)行擴(kuò)散。這個(gè)方法的難點(diǎn)在于如何同時(shí)訓(xùn)練VAE和擴(kuò)散模型。LSGM表明由于潛在先驗(yàn)是intractable的，分?jǐn)?shù)匹配損失不再適用。LSGM直接使用VAE中傳統(tǒng)的損失函數(shù)ELBO作為損失函數(shù)，并導(dǎo)出了ELBO和分?jǐn)?shù)匹配的關(guān)系：

該式在忽略常數(shù)的意義下成立。通過(guò)參數(shù)化擴(kuò)散過(guò)程中樣本的分?jǐn)?shù)函數(shù)，LSGM可以高效的學(xué)習(xí)和優(yōu)化ELBO。

（2）Data-Dependent Transition Kernels方法根據(jù)數(shù)據(jù)類(lèi)型的特點(diǎn)設(shè)計(jì)diffusion process 中的transition kernels，使擴(kuò)散模型可以直接應(yīng)用于特定的數(shù)據(jù)類(lèi)型。D3PM為離散型數(shù)據(jù)設(shè)計(jì)了transition kernel，可以設(shè)為lazy random-walk，absorbing state等。GEODIFF為3D分子圖數(shù)據(jù)設(shè)計(jì)了平移-旋轉(zhuǎn)不變的圖神經(jīng)網(wǎng)絡(luò)，并且證明了具有不變性的初分布和transition kernel可以導(dǎo)出具有不變性的邊緣分布。假設(shè)是一個(gè)平移-旋轉(zhuǎn)變換，如：

那么生成的樣本分布也有平移-旋轉(zhuǎn)不變性：

6 和其他生成模型的聯(lián)系

在下面的每個(gè)小節(jié)中，我們首先介紹其他五類(lèi)重要的生成模型，并分析它們的優(yōu)勢(shì)和局限性。然后我們介紹了擴(kuò)散模型是如何與它們聯(lián)系起來(lái)的，并說(shuō)明通過(guò)結(jié)合擴(kuò)散模型來(lái)改進(jìn)這些生成模型。VAE，GAN，Autoregressive model, Normalizing flow, Energy-based model和擴(kuò)散模型的聯(lián)系如下圖所示：

• DDPM可以視作層次馬爾可夫VAE（hierarchical Markovian VAE）。但DDPM和一般的VAE也有區(qū)別。DDPM作為VAE，它的encoder和decoder都服從高斯分布、有馬爾科夫行；其隱變量的維數(shù)和數(shù)據(jù)維數(shù)相同；decoder的所有層都共用一個(gè)神經(jīng)網(wǎng)絡(luò)。
• DDPM可以幫助GAN解決訓(xùn)練不穩(wěn)定的問(wèn)題。因?yàn)閿?shù)據(jù)是在高維空間中的低維流形中，所以GAN生成數(shù)據(jù)的分布和真實(shí)數(shù)據(jù)的分布重合度低，導(dǎo)致訓(xùn)練不穩(wěn)定。擴(kuò)散模型提供了一個(gè)系統(tǒng)地增加噪音的過(guò)程，通過(guò)擴(kuò)散模型向生成的數(shù)據(jù)和真實(shí)數(shù)據(jù)添加噪音，然后將加入噪音的數(shù)據(jù)送入判別器，這樣可以高效地解決GAN無(wú)法訓(xùn)練、訓(xùn)練不穩(wěn)定的問(wèn)題。
• Normalizing flow通過(guò)雙射函數(shù)將數(shù)據(jù)轉(zhuǎn)換到先驗(yàn)分布，這樣的作法限制了Normalizing flow的表達(dá)能力，導(dǎo)致應(yīng)用效果較差。類(lèi)比擴(kuò)散模型向encoder中加入噪聲，可以增加Normalizing flow的表達(dá)能力，而從另一個(gè)視角看，這樣的做法是將擴(kuò)散模型推廣到前向過(guò)程也可學(xué)習(xí)的模型。
• Autoregressive model在需要保證數(shù)據(jù)有一定的結(jié)構(gòu)，這導(dǎo)致設(shè)計(jì)和參數(shù)化自回歸模型非常困難。擴(kuò)散模型的訓(xùn)練啟發(fā)了自回歸模型的訓(xùn)練，通過(guò)特定的訓(xùn)練方式避免了設(shè)計(jì)的困難。
• Energy-based model直接對(duì)原始數(shù)據(jù)的分布建模，但直接建模導(dǎo)致學(xué)習(xí)和采樣都比較困難。通過(guò)使用擴(kuò)散恢復(fù)似然，模型可以先對(duì)樣本加入微小的噪聲，再?gòu)挠新晕⒃肼暤臉颖痉植紒?lái)推斷原始樣本的分布，使的學(xué)習(xí)和采樣過(guò)程更簡(jiǎn)單和穩(wěn)定。

7 擴(kuò)散模型的應(yīng)用

在本節(jié)中，我們分別介紹了擴(kuò)散模型在計(jì)算機(jī)視覺(jué)、自然語(yǔ)言處理、波形信號(hào)處理、多模態(tài)學(xué)習(xí)、分子圖生成、時(shí)間序列以及對(duì)抗學(xué)習(xí)等七大應(yīng)用方向中的應(yīng)用，并對(duì)每類(lèi)應(yīng)用中的方法進(jìn)行了細(xì)分并解析。例如在計(jì)算機(jī)視覺(jué)中可以用diffusion model進(jìn)行圖像補(bǔ)全修復(fù)（RePaint）：

在多模態(tài)任務(wù)中可以用diffusion model進(jìn)行文本到圖像的生成（GLIDE）：

還可以在分子圖生成中用diffusion model進(jìn)行藥物分子和蛋白質(zhì)分子的生成（GeoDiff）：

應(yīng)用分類(lèi)匯總見(jiàn)表：

8 未來(lái)研究方向?

• 應(yīng)用假設(shè)再檢驗(yàn)。我們需要檢查我們?cè)趹?yīng)用中普遍接受的假設(shè)。例如，實(shí)踐中普遍認(rèn)為擴(kuò)散模型的前向過(guò)程會(huì)將數(shù)據(jù)轉(zhuǎn)換為標(biāo)準(zhǔn)高斯分布，但事實(shí)并非如此，更多的前向擴(kuò)散步驟會(huì)使最終的樣本分布與標(biāo)準(zhǔn)高斯分布更接近，與采樣過(guò)程一致；但更多的前向擴(kuò)散步驟也會(huì)使估計(jì)分?jǐn)?shù)函數(shù)更加困難。理論的條件很難獲得，因此在實(shí)踐中操作中會(huì)導(dǎo)致理論和實(shí)踐的不匹配。我們應(yīng)該意識(shí)到這種情況并設(shè)計(jì)適當(dāng)?shù)臄U(kuò)散模型。
• 從離散時(shí)間到連續(xù)時(shí)間。由于擴(kuò)散模型的靈活性，許多經(jīng)驗(yàn)方法可以通過(guò)進(jìn)一步分析得到加強(qiáng)。通過(guò)將離散時(shí)間的模型轉(zhuǎn)化到對(duì)應(yīng)的連續(xù)時(shí)間模型，然后再設(shè)計(jì)更多、更好的離散方法，這樣的研究思路有前景。
• 新的生成過(guò)程。擴(kuò)散模型通過(guò)兩種主要方法生成樣本：一是離散化反向擴(kuò)散 SDE，然后通過(guò)離散的反向 SDE 生成樣本；另一個(gè)是使用逆過(guò)程中馬爾可夫性質(zhì)對(duì)樣本逐步去噪。然而，對(duì)于一些任務(wù)，在實(shí)踐中很難應(yīng)用這些方法來(lái)生成樣本。因此，需要進(jìn)一步研究新的生成過(guò)程和視角。
• 泛化到更復(fù)雜的場(chǎng)景和更多的研究領(lǐng)域。雖然目前diffusion model已經(jīng)應(yīng)用到多個(gè)場(chǎng)景中，但是大多數(shù)局限于單輸入單輸出的場(chǎng)景，將來(lái)可以考慮將其應(yīng)用到更復(fù)雜的場(chǎng)景，比如text-to-audiovisual speech synthesis。也可以考慮和更多的研究領(lǐng)域相結(jié)合。