擴散模型是目前生成式AI中的最核心模塊，在Sora、DALL-E、Imagen等生成式AI大模型中都取得了廣泛的應(yīng)用。與此同時，擴散模型也被越來越多的應(yīng)用到了時間序列中。這篇文章給大家介紹了擴散模型的基本思路，以及幾篇擴散模型用于時間序列的典型工作，帶你理解擴散模型在時間序列中的應(yīng)用原理。

1、擴散模型建模思路

生成模型的核心是，能夠從隨機簡單分布中采樣一個點，并通過一系列變換將這個點映射到目標(biāo)空間的圖像或樣本上。擴散模型的做法是，在采樣的樣本點上，不斷的去噪聲，經(jīng)過多個去除噪聲的步驟，生成最終的數(shù)據(jù)。這個過程很像雕塑的過程，最開始從高斯分布采樣的噪聲就是最開始的原材料，去噪聲的過程就是不斷在這個材料上鑿掉多余部分的過程。

上面所說的就是逆向過程，即從一個噪聲中逐漸去掉噪聲，得到圖像。這個過程是一個迭代的過程，要經(jīng)歷T次的去噪，一點點從原始采樣點中把噪聲去掉。在每個步驟中，輸入上一個步驟生成的結(jié)果，并且需要預(yù)測噪聲，再用輸入減去噪聲，得到當(dāng)前時間步的輸出。

這里就需要訓(xùn)練一個預(yù)測當(dāng)前步驟噪聲的模塊（去噪模塊），這個模塊輸入當(dāng)前的步驟t，以及當(dāng)前步驟的輸入，預(yù)測噪聲是什么。這個預(yù)測噪聲的模塊，是通過正向過程進(jìn)行的，和VAE中的Encoder部分比較像。在正向過程中，輸入一個圖像，每個步驟采樣一個噪聲，將噪聲加到原始圖像上，得到生成的結(jié)果。然后再以生成的結(jié)果和當(dāng)前步驟t的embedding為輸入，預(yù)測生成的噪聲，以此達(dá)到訓(xùn)練去噪模塊的作用。

2、擴散模型在時間序列中的應(yīng)用

TimeGrad: Autoregressive Denoising Diffusion Models for Multivariate Probabilistic Time Series Forecasting（2021）

TimeGrad是最早使用擴散模型做時間序列預(yù)測的方法之一。在基礎(chǔ)的擴散模型基礎(chǔ)上，TimeGrad給每個時間步的去噪模塊額外輸入了一個hidden state，這個hidden state是使用RNN模型對歷史序列、外部變量進(jìn)行編碼得到的，以此指導(dǎo)擴散模型生成序列的過程。整體的邏輯如下圖所示。

在去噪模塊的網(wǎng)絡(luò)結(jié)構(gòu)上，主要采用了卷積網(wǎng)絡(luò)，輸入包括上一個步驟的輸出序列和RNN輸出的hidden state經(jīng)過上采樣生成的結(jié)果，二者分別過卷積后相加，用于噪聲預(yù)測。

CSDI: Conditional Score-based Diffusion Models for Probabilistic Time Series Imputation（2021）

這篇文章使用擴散模型建模時間序列填充任務(wù)，整體建模方式和TimeGrad比較像。如下圖所示，最開始時間序列是有缺失值的，首先對其填充上噪聲，然后使用擴散模型逐漸預(yù)測噪聲實現(xiàn)去噪，經(jīng)過多個步驟后最終得到填充結(jié)果。

整個模型的核心也是擴散模型訓(xùn)練去噪模塊。核心是訓(xùn)練噪聲預(yù)測網(wǎng)絡(luò)，每個步驟輸入當(dāng)前的步驟embedding、歷史的觀測結(jié)果以及上一個時刻的輸出，預(yù)測噪聲結(jié)果。

網(wǎng)絡(luò)結(jié)構(gòu)上使用Transformer，包括時間維度上的Transformer和變量維度的Transformer兩個部分。

DSPD & CSPD: Modeling Temporal Data as Continuous Functions with Process Diffusion（2022）

本文提出的方法相比TimeGrad上升了一個層次，是通過擴散模型直接建模生成時間序列的函數(shù)本身。這里假設(shè)每一個觀測點都是從一個函數(shù)中生成的，然后直接建模這個函數(shù)的分布，而不是建模時間序列中數(shù)據(jù)點的分布。因此，文中將擴散模型中添加的獨立噪聲改成隨時間變化的噪聲，并訓(xùn)練擴散模型中的去噪模塊實現(xiàn)對函數(shù)的去噪。

TDSTF: Transformer-based Diffusion probabilistic model for Sparse Time series Forecasting（2023）

這篇文章將擴散模型應(yīng)用到ICU中的關(guān)鍵信號提取。文中的核心一方面是對于稀疏不規(guī)則的醫(yī)療時序數(shù)據(jù)的處理，使用value、feature、time三元組表示序列中的每個點，對確實值部分使用mask。另一方面是基于Transformer和擴散模型的預(yù)測方法。整體的擴散模型過程如圖，跟圖像的生成模型原理是類似的，根據(jù)歷史的時間序列訓(xùn)練去噪模型，然后在前向傳播中逐漸從初始噪聲序列中減掉噪聲。

具體的擴散模型中噪聲預(yù)測的部分采用的是Transformer結(jié)構(gòu)。每個時間點由mask以及三元組組成，輸入到Transformer中，作為去噪模塊預(yù)測噪聲。詳細(xì)結(jié)構(gòu)包括3層Transformer，每個Transformer包括2層Encoder和2層Decoder網(wǎng)絡(luò)，Decoder的輸出使用殘差網(wǎng)絡(luò)連接，并輸入到卷積Decoder生成噪聲預(yù)測結(jié)果。

本文轉(zhuǎn)載自 ??圓圓的算法筆記??，作者： Fareise