今天給大家介紹一篇浙大、中南、南洋理工、上交、北大等多所高校聯(lián)合提出的一種時間序列預(yù)測建模方法，針對目前時序預(yù)測直接預(yù)測方法沒有考慮到預(yù)測各個時間步關(guān)系的問題，提出了在頻域中進行預(yù)測的方法，可適配到各類時序SOTA模型中，取得了長短周期時序預(yù)測的效果提升。

論文標(biāo)題：FREDF: LEARNING TO FORECAST IN FREQUENCY DOMAIN

下載地址：??https://arxiv.org/pdf/2402.02399??

開源代碼：??https://github.com/Master-PLC/FreDF??

1.背景

在天氣預(yù)報、工業(yè)維護等領(lǐng)域，準(zhǔn)確的時序預(yù)測可以幫助我們做出更好的決策和規(guī)劃。時間序列數(shù)據(jù)的自相關(guān)性——即不同時間點數(shù)據(jù)之間的相關(guān)性——為預(yù)測帶來了獨特的挑戰(zhàn)。這種自相關(guān)性既存在于多步輸入序列中，也存在于多步預(yù)測的標(biāo)簽序列中。

現(xiàn)有的時間序列預(yù)測方法主要關(guān)注輸入序列中的自相關(guān)性。為了建模自相關(guān)性，各種模型結(jié)構(gòu)(如RNN、CNN、GNN等)被相繼提出。但大多數(shù)方法卻忽略了一個關(guān)鍵方面：預(yù)測標(biāo)簽之間的自相關(guān)性：這種相關(guān)關(guān)系難以通過設(shè)計模型結(jié)構(gòu)來建模，需要對預(yù)測范式進行特別設(shè)計。

特別是，時下流行的直接預(yù)測方法（Direct Forecast，DF），通過多任務(wù)方式一次性預(yù)測多步，以避免誤差累積，從而提升建模精度。然而本文證明：DF假設(shè)標(biāo)簽序列在給定輸入序列的條件下是條件獨立的，從而忽略了標(biāo)簽序列中的自相關(guān)性。

為了繞開標(biāo)簽序列在時域中的自相關(guān)性，本文提出將其投影到“自相關(guān)不顯著”的視圖中，再用DF對投影值做模型訓(xùn)練和預(yù)測。例如，把標(biāo)簽序列投影到頻域：，其中 是不同頻率上的頻譜分量。與時域中的自相關(guān) 不同，在頻域中，頻點1的頻譜分量對頻點2的頻譜分量沒有直接影響，從而對標(biāo)簽自相關(guān)性的影響進行了抑制。

※和現(xiàn)有FFT-based工作的區(qū)別：在時間序列預(yù)測領(lǐng)域，已經(jīng)有了較多基于頻域?qū)W習(xí)的工作，例如AutoFormer、FedFormer、FreTS等。這些方法主要是通過設(shè)計模型結(jié)構(gòu)處理輸入序列中的自相關(guān)性。相對地，F(xiàn)reDF使用頻域變換優(yōu)化預(yù)測范式，處理標(biāo)簽序列中的自相關(guān)性（LA）；不涉及改變模型結(jié)構(gòu)以處理輸入序列中的自相關(guān)性。

2.標(biāo)簽序列中的自相關(guān)性

LA在時域的顯著性：在時間序列的生成過程中，當(dāng)前時刻的預(yù)測不僅與歷史數(shù)據(jù)有關(guān)，更與上一時刻的狀態(tài)有關(guān)。也就是說：在給定歷史數(shù)據(jù)后，不同時間步之間的標(biāo)簽也應(yīng)該存在相關(guān)性（如藍色箭頭表示）。為驗證這一假說，使用DoubleML方法量化給定歷史數(shù)據(jù)后預(yù)測時間步之間的因果關(guān)系強度，結(jié)果說明：LA在真實數(shù)據(jù)中是非常顯著的。

現(xiàn)有直接預(yù)測范式忽略了對LA的建模：直接預(yù)測（Direct Forecast，DF）范式使用一個多輸出頭同時預(yù)測未來多個時間步的標(biāo)簽值。然而，DF只是復(fù)用了一般的多任務(wù)學(xué)習(xí)方法，沒有考量標(biāo)簽之間的依存關(guān)系（LA）。特別是，即使標(biāo)簽之間沒有關(guān)聯(lián)，也可以使用上述損失函數(shù)訓(xùn)練一個多任務(wù)模型。在訓(xùn)練模型時，DF試圖最小化預(yù)測標(biāo)簽序列與真實標(biāo)簽序列之間的誤差；這假設(shè)了標(biāo)簽序列在不同時間步之間是條件獨立的，從而忽略了標(biāo)簽序列內(nèi)部各時間步之間的相關(guān)性（LA）。

LA在頻域的顯著性得到抑制：為了處理LA，是不是可以對標(biāo)簽序列進行一定的變換，使得變換后序列的相關(guān)性得到抑制呢？對序列來說，一個很自然的方法是傅里葉變換，將序列用時域轉(zhuǎn)換到頻域為驗證這一假說，圖1（c-d）量化了給定歷史數(shù)據(jù)后頻域點之間的因果關(guān)系強度，發(fā)現(xiàn)不同頻點上的頻譜分量基本沒有相關(guān)性。所以，將標(biāo)簽序列變換到頻域可以有效抑制LA。

論文中進一步提供了在3個額外真實數(shù)據(jù)的驗證，實驗結(jié)果均展現(xiàn)出類似性質(zhì)。

3.FreDF模型結(jié)構(gòu)

FreDF 的核心思想是將預(yù)測任務(wù)從時域轉(zhuǎn)換到頻域。之前的驗證表明，標(biāo)簽序列變換到頻域后LA不顯著，因此適配DF的條件獨立性假設(shè)，所以可以使用多任務(wù)方法直接預(yù)測多個頻點的頻譜分量。這種方法避免了自相關(guān)性對模型的影響，且繞開了顯式建模自相關(guān)性的復(fù)雜性。

具體的實現(xiàn)方法如下。文中使用傅里葉變換將標(biāo)簽序列和預(yù)測序列都從時域轉(zhuǎn)換到頻域。這里和其他頻域信息引入工作的區(qū)別在于，其他工作一般是將輸入轉(zhuǎn)換到頻域，但最后還是在時域中預(yù)測。本文則是完全將數(shù)據(jù)轉(zhuǎn)換到頻域，預(yù)測也是在頻域中進行預(yù)測的，損失函數(shù)也定義在頻域中。頻域損失函數(shù)如下：

最終損失函數(shù)由時域和頻域損失函數(shù)融合得到：

FreDF 方法不依賴于特定的預(yù)測模型或變換方法。它可以與現(xiàn)有的多種預(yù)測模型（Transformer、MLP）和變換方法（如用Chebyshev、Legendre變換代替FFT等）結(jié)合使用，從而提高了方法的適用性和靈活性。

4.實驗效果

文中在長期和短期時間序列預(yù)測上均進行了實驗驗證。FreDF可以顯著提高預(yù)測性能。以ETTm1數(shù)據(jù)集為例，F(xiàn)reDF將iTransformer的MSE降低了0.019,這一改進與過去1.5年中該數(shù)據(jù)集性能提升可比（Fedformer到TimesNet,MSE降低了0.017）。FreDF這一簡單的改進，可以超越部分設(shè)計精巧的模型架構(gòu)所能帶來的性能提升。在部分?jǐn)?shù)據(jù)集上，它將iTransformer的性能提升到了超過了一些原本優(yōu)于iTransformer的模型：ETT、Weather。

論文還測試了FreDF在不同神經(jīng)網(wǎng)絡(luò)架構(gòu)上的表現(xiàn)，包括iTransformer、DLinear、Autoformer和Transformer等，以證明其與模型無關(guān)的特性：可以切實有效提升大多數(shù)主流時序預(yù)測模型的精度。

論文進一步測試了FreDF使用不同變換方案的性能表現(xiàn)，包括廣義FFT方法（沿時間維度的1dFFT、沿變量維度的1dFFT、時間-變量維度的2dFFT）和正交基投影方法（勒讓德基、拉蓋爾基、切比雪夫基、傅里葉基），也有一些很有趣的發(fā)現(xiàn)和討論；具體請參考論文原文。

本文轉(zhuǎn)載自 ??圓圓的算法筆記??，作者： Fareise