一文匯總：長周期時序預(yù)測有哪些優(yōu)化點？
1.長周期時序預(yù)測核心問題
長周期時間序列預(yù)測，指的是預(yù)測窗口較長一類時間序列預(yù)測問題。一般來說，預(yù)測長度在50個點以上，就可以認為是長周期時間序列預(yù)測問題。同時，預(yù)測長度的增加，會使得模型需要引入更長的歷史序列，才能實現(xiàn)更好的預(yù)測。相比短周期時序預(yù)測，長周期時序預(yù)測主要面臨的挑戰(zhàn)有以下幾個方面。
長周期歷史信息提取：相比短序列，長序列由于其樣本點更多，對歷史信息的提取也更加困難，模型容易隨著輸入歷史序列長度的增長而過擬合。并且，長周期預(yù)測也更難捕捉對每個時間步有用的歷史信息。
長周期預(yù)測：時間序列預(yù)測模型一般情況下預(yù)測的準度會隨著預(yù)測的長度增加而變差，這導(dǎo)致在長周期預(yù)測中會出現(xiàn)很多不穩(wěn)定的因素，甚至超過一個時間步長度的預(yù)測結(jié)果完全不可用。
運行效率：隨著序列的增長，模型需要處理更長周期的數(shù)據(jù)，導(dǎo)致模型在訓(xùn)練和推斷中效率變低。
針對上述問題，業(yè)內(nèi)有一系列針對長周期時間序列預(yù)測的研究工作。這篇文章就匯總了長周期時間序列預(yù)測代表性工作，帶大家梳理長周期時序預(yù)測的解決方法。
2.長周期解碼方式優(yōu)化
長序列的一個挑戰(zhàn)是如何在解碼過程中，能夠更完善的和歷史序列進行交互，進而實現(xiàn)解碼的每個步驟都能獲取到歷史長周期序列中最有用的時間步信息。
PETformer: Long-term Time Series Forecasting via Placeholder-enhanced Transformer提出了一種不區(qū)分Encoder-Decoder的解碼方式，采用了placeholder-enhanced的方式。在Decoder部分使用幾個可學(xué)習(xí)的向量作為輸入，不再區(qū)分Encoder和Decoder，而是拼接到歷史序列的token上，一起輸入到統(tǒng)一Transformer，讓待預(yù)測部分可以更自然的獲取歷史序列信息。
Informer: Beyond efficient transformer for long sequence timeseries forecasting（AAAI 2021）中也做了類似的操作。Informer仍然區(qū)分Encoder和Decoder，但是在Decoder的前面會拼接一段歷史序列，并且將剩余待預(yù)測的時間步用0填充，類似placeholder-enhanced的方式。這里將Encoder的一部分序列拼接到Decoder前面，主要為了在長周期的歷史序列中，更加凸顯近期序列的重要性。
3.長周期信息補充
在長周期中，有一些例如以長跨度為主的特征，包括自相關(guān)系數(shù)等，是一般的深度學(xué)習(xí)模型很難通過單純的數(shù)據(jù)學(xué)到的。為了刻畫這部分特征，一些工作會通過人工抽取特征，或者輔助任務(wù)的方式，講這些信息引入進來。例如在Web Traffic競賽中，第一名的方案手動提取季度、年等長周期的自相關(guān)系數(shù)，直接作為額外的特征輸入到模型中。
在SELF-SUPERVISED CONTRASTIVE FORECASTING（ICLR 2024）這篇論文中，通過在時間序列預(yù)測中引入對比學(xué)習(xí)，實現(xiàn)對Encoder建模窗口以外全周期時間序列信息的應(yīng)用。長周期預(yù)測一般需要更長的歷史序列作為輸入，但是受限于歷史序列窗口，很難完整刻畫全部歷史序列。這篇文章提出了一種基于自相關(guān)系數(shù)的對比學(xué)習(xí)loss。在一個batch內(nèi)，時間序列是來自同一個完整時間序列的多個窗口（也可能來自多個，本文主要以一個完整序列進行研究），并且這些窗口大概率具有比較大的時間間隔，因為是隨機采樣的。首先標記出每兩個時間序列之間的時間間隔T，然后計算兩兩時間序列間隔為T的自相關(guān)系數(shù)，這個自相關(guān)系數(shù)刻畫了這兩個時間序列的相關(guān)關(guān)系。以這個自相關(guān)系數(shù)為label，構(gòu)建對比學(xué)習(xí)的正樣對，并以對比學(xué)習(xí)為目標優(yōu)化序列表征。通過這種方式，實現(xiàn)了利用完整時間序列信息的目的，在表示空間中拉近在完整時間序列中T自相關(guān)性系數(shù)高的時間序列片段表征。
4.長周期簡化模型
很多研究都發(fā)現(xiàn)，一些基于Transformer等復(fù)雜模型結(jié)構(gòu)的時間序列預(yù)測模型，在歷史序列輸入長度增加時，會出現(xiàn)過擬合的現(xiàn)象。由于歷史輸入的增加，解空間變大，時間序列往往還存在比較大的噪聲，導(dǎo)致Transformer等模型容易出現(xiàn)過擬合問題。因此，一些工作在長周期預(yù)測中簡化了模型結(jié)構(gòu)，用線性等更基礎(chǔ)的網(wǎng)絡(luò)結(jié)構(gòu)構(gòu)建了魯棒性更強的長周期時序預(yù)測模型。
Client: Cross-variable Linear Integrated Enhanced Transformer for Multivariate Long-Term Time Series Forecasting這篇文章中，構(gòu)建了一個Linear和Transfomrer相結(jié)合的長周期時序預(yù)測模型。其中Transformer建模變量間關(guān)系，而Linear模型主要復(fù)雜對序列趨勢項的建模，用線性模型對長周期的趨勢項關(guān)鍵信息進行捕捉。
SparseTSF: Modeling Long-term Time Series Forecasting with 1k Parameters也是一個主要用線性網(wǎng)絡(luò)進行長周期時序預(yù)測的工作。對于長周期時間序列，根據(jù)某個周期，將其分割成多個子片段，如圖中所示，每個周期內(nèi)的相同位置點采樣出來拼接成一個序列。這樣做相當于把季節(jié)項拆解出來，每個序列只保留趨勢項。每個子片段使用一個線性模型進行獨立的預(yù)測，再各個片段聚合到一起。為了緩解采樣帶來的信息損失以及異常點影響，文中先使用一個一維卷積，對鄰居節(jié)點信息進行聚合，得到更為平滑的序列。
5.頻域提取長周期全局信息
之前我們介紹過頻域建模。在長周期預(yù)測中，頻域信息的應(yīng)用的重要性更加凸顯。因為頻域代表了序列的全局信息，而這種信息當序列比較長時，在時域中是很難提取的。
例如，TFDNet: Time-Frequency Enhanced Decomposed Network for Long-term Time Series Forecasting（2023）利用短時傅里葉變換，將原始時間序列分成多個窗口，并假設(shè)每個窗口內(nèi)的時間序列是平穩(wěn)的，對每個窗口內(nèi)的時間序列分別進行傅里葉變換，最終得到一個時域-頻域矩陣。這個矩陣描述了原始時間序列的時域頻域關(guān)系。在進行了趨勢項、季節(jié)項分解之后，使用短時傅里葉變換分別對兩個部分進行處理，得到兩個相應(yīng)的矩陣。通過這種方式，將頻域信息引入進來，實現(xiàn)對全局信息更直接的刻畫。
6.長周期性能優(yōu)化
當輸入序列較長時，就需要進行模型性能的優(yōu)化。不僅在時間序列，在NLP、CV等領(lǐng)域，性能優(yōu)化也是一個核心研究點。在NLP中，有很多針對Transformer長序列輸入的性能優(yōu)化，都可以直接應(yīng)用到時間序列領(lǐng)域。這里介紹2個時間序列領(lǐng)域的模型性能優(yōu)化。
Enhancing the Locality and Breaking the Memory Bottleneck of Transformer on Time Series Forecasting（2020）為了提升attention的計算效率，提出將完全attention改成局部attention，讓attention計算變得更稀疏，提升模型的運算效率。具體包括使用log的方式每隔2、4、8等計算一次attention，以及對于近期的時間步計算attention，或者兩種結(jié)合的方式。
Informer: Beyond efficient transformer for long sequence timeseries forecasting（AAAI 2021）針對長周期Transformer，設(shè)計了一種提升運算效率的attention方法。attention score具有非常明顯的長尾性，少數(shù)的score比較大，大多數(shù)score很小，因此只要重點建模那些重要的關(guān)系即可。如果一個query和其他key的attention score接近均勻分布，那么這個query就是簡單的把其他value加和求平均，意義不大。因此Informer中提出計算每個query的attention score打分分布和均勻分布的KL散度，對于重要性不大的query，key就不和這些query計算attention，形成了sparse attention的結(jié)構(gòu)，帶來計算效率的大幅提升。
