時(shí)間序列預(yù)測(cè)建模中，非平穩(wěn)性或distribution shift一直是一個(gè)建模難點(diǎn)。非平穩(wěn)性指的是時(shí)間序列的統(tǒng)計(jì)量，如均值、方差隨時(shí)間發(fā)生變化，導(dǎo)致數(shù)據(jù)分布隨著時(shí)間發(fā)生漂移，造成了模型訓(xùn)練和擬合的難度。

今天給大家介紹一下最近一段時(shí)間提出的2種解決時(shí)間序列非平穩(wěn)性問題的方法。這兩種方法分別從多粒度的角度和頻域的角度進(jìn)行可逆歸一化，實(shí)現(xiàn)了不錯(cuò)的效果提升。

1.基礎(chǔ)可逆歸一化方法

可逆歸一化最基礎(chǔ)的方法來自REVERSIBLE INSTANCE NORMALIZATION FOR ACCURATE TIME-SERIES FORECASTING AGAINST DISTRIBUTION SHIFT（ICLR 2022），這篇文章的核心思路是在輸入序列中將均值、方差等序列不穩(wěn)定的信息去掉，再在輸出階段利用這些被去掉的不穩(wěn)定但是序列個(gè)性化的信息對(duì)序列進(jìn)行還原，模型重點(diǎn)處理去掉均值和方差后的平穩(wěn)序列的預(yù)測(cè)任務(wù)。

下面給大家進(jìn)一步介紹最近兩篇可逆歸一化建模方法。

2.多粒度可逆歸一化

論文標(biāo)題：EVOLVING MULTI-SCALE NORMALIZATION FOR TIME SERIES FORECASTING UNDER DISTRIBUTION SHIFTS

下載地址：??https://arxiv.org/pdf/2409.19718v1??

上述基礎(chǔ)的ReVIN只考慮了單一粒度的統(tǒng)計(jì)量信息，沒有考慮多粒度信息的影響。時(shí)間序列中，不同的粒度的序列，對(duì)應(yīng)的均值和方差都是存在較大差異的，只用單一粒度的統(tǒng)計(jì)量進(jìn)行歸一化，無法完美解決分布漂移問題。

為了解決上述問題，本文提出了一種多粒度歸一化方法。對(duì)于原始時(shí)間序列，先經(jīng)過傅里葉變換后，找到topK個(gè)主成分，這些主成分表明序列的主要季節(jié)性信息。接下來，根據(jù)這些頻率信息作為聚合粒度，生成K種不同粒度的時(shí)間序列聚合結(jié)果。針對(duì)每種粒度的時(shí)間序列，分別使用類似Dish-TS的建模方法，進(jìn)行均值方差的歸一化，并預(yù)測(cè)未來的均值方差，再將預(yù)測(cè)的均值方差作用到模型輸出結(jié)果上。對(duì)于不同粒度的預(yù)測(cè)結(jié)果進(jìn)行ensemble，使用頻域中該粒度對(duì)應(yīng)頻域的振幅進(jìn)行加權(quán)，得到最終的預(yù)測(cè)結(jié)果。

3.頻域可逆歸一化

論文標(biāo)題：Frequency Adaptive Normalization For Non-stationary Time Series Forecasting

下載地址：??https://arxiv.org/pdf/2409.20371v1??

ReVIN這種在時(shí)域進(jìn)行的可逆歸一化方法，雖然能解決均值和方差的變化問題，但是無法解決周期性的變化問題。比如圖中，模型的季節(jié)性隨著時(shí)間發(fā)生變化，這個(gè)信息在ReVIN的方法中無法消除。

為了解決這個(gè)問題，這篇文章提出了一種在頻域進(jìn)行可逆歸一化的建模方法。其整體建模思路和ReVIN類似，將原始序列通過傅里葉變換映射到頻域，在頻域中選擇topK個(gè)主要頻率成分，將這些主要頻率成分從原始數(shù)據(jù)中剝離出來，模型只對(duì)剩余的平穩(wěn)季節(jié)項(xiàng)的序列進(jìn)行預(yù)測(cè)，預(yù)測(cè)結(jié)果再加上主要頻率成分進(jìn)行還原。

4.總結(jié)

分布漂移是時(shí)間序列預(yù)測(cè)的一個(gè)核心研究點(diǎn)，也是建模的難點(diǎn)。今天介紹的2篇新方法，從不同維度提出了新的時(shí)間序列可逆歸一化建模方法，取得了一定的效果提升，可以在實(shí)際應(yīng)用中進(jìn)行嘗試。

本文轉(zhuǎn)載自??圓圓的算法筆記??，作者： Fareise ????