頻率是時間序列的一個重要信息。給定一個時間序列，可以通過按照不同頻率的聚合，獲得不同粒度的時間序列。比如，給定的原始時間序列是以小時為粒度的，那么通過將24個點加和成1個點，就可以形成以天為粒度的時間序列數(shù)據(jù)。不同的粒度，包含的信息也不同。粒度越細，越能體現(xiàn)時間序列的局部特征，同時噪聲也更大；粒度越粗，序列更加平滑，反應了時間序列的全局特性，噪聲較少，但是也損失了很多信息。

由于粒度的粗粒，所有含的信息不同，因此業(yè)內(nèi)針對這個現(xiàn)象，提出了一系列的多頻率建模方法，將不同頻率的聚合序列同時引入到模型中，實現(xiàn)信息的互補。這篇文章就給大家匯總一下單變量時間序列預測中，實現(xiàn)多頻率建模的核心思路。

1.多頻率建模核心方法

對于原始的時間序列，需要將其轉(zhuǎn)換為模型輸入。這其中目前常見的有2種方法：第一種是每個時間步的數(shù)值直接輸入模型中，也就是每個時間步的值使用一個MLP映射成embedding，輸入到模型中；第二種方法是將時間序列劃分成patch，每個patch包含多個時間步，patch內(nèi)通過MLP映射成一個embedding，再輸入到模型中。

多頻率建模的核心優(yōu)化也就在這個過程中體現(xiàn)。對于第一種輸入形式，可以通過不同尺度的average pooling操作，對時間序列先進行一步聚合，再將不同尺度average pooling的匯聚結(jié)果輸入到模型中。對于第二種輸入形式，通過控制不同的patch尺寸，實現(xiàn)不同粒度的數(shù)據(jù)組織形式，再輸入到模型中。

在此技術(shù)上，還有更進一步的優(yōu)化。例如，模型由多層組成，在不同的層中，輸入不同的粒度；又比如，讓模型自動的去學習一個最優(yōu)的粒度劃分方法，提升多粒度建模的效果。

下面匯總一些多粒度建模的代表性工作和方法。

2.Patch Transformer引入多頻率

很多工作將PatchTST中的輸入改為多尺度的patch劃分方式，實現(xiàn)多粒度的patch建模，每種粒度的patch提取不同頻率的信息。

Multi-resolution Time-Series Transformer for Long-term Forecasting提出了一種多尺寸patch transformer建模方法。對于每一層網(wǎng)絡，會有多個分支，每個分支輸入不同尺度patch處理的時間序列。每種patch處理方式由窗口長度和步長組成。每個分支獨立的使用Transformer對該patch進行編碼，將各個branch的結(jié)果拼接到一起，經(jīng)過線性層映射后輸入到下一層。

3.Average Pooling引入多頻率

TIMEMIXER: DECOMPOSABLE MULTISCALE MIXING FOR TIME SERIES FORECASTING通過不同尺寸的average pooling，在模型中引入多粒度的信息。首先，構(gòu)造原始時間序列的多粒度形式，最細粒度就是原始的時間序列，上一層使用窗口average pooling進行下采樣，逐層構(gòu)建更粗粒度的序列，形成多粒度時間序列。接下來，由于趨勢項和季節(jié)項在不同的scale下規(guī)律性不同，因此文中在每個細分scale上進一步進行趨勢項季節(jié)項分解，進行分別建模。

對于季節(jié)項，文中指出，粗粒度的季節(jié)項信息是由細粒度季節(jié)項信息匯聚而成，因此細粒度的季節(jié)項信息對于粗粒度的季節(jié)項建模非常重要?；谶@個考慮，本文的季節(jié)項多粒度建模采用了一種從下到上的方式，第N層粒度的表征，會用到下面更細粒度表征的信息。

對于趨勢項，和季節(jié)項剛好相反，粗粒度反而更能反應趨勢項的信息。因此在多粒度趨勢項建模中，文中使用了從上到下的建模方法，下層的表征由當前層的趨勢項加上上一層趨勢項輸入編碼器的結(jié)果得到。

在得到歷史多粒度表征后，另一個模塊是根據(jù)表征進行預測。文中采用了一種類似ensemble的方案，每種粒度的編碼，分別過MLP映射到預測結(jié)果的維度，不同粒度的預測結(jié)果相加，得到最終的預測結(jié)果。

4.不同網(wǎng)絡層引入不同頻率

在一些工作中，對于模型的不同層引入不同粒度，讓每層網(wǎng)絡專注于一個粒度的信息提取。

A Multi-Scale Decomposition MLP-Mixer for Time Series Analysis提出一種多粒度的patch劃分時間序列模型，能夠在網(wǎng)絡的不同層，根據(jù)不同的patch尺寸自適應的進行patch劃分，實現(xiàn)不同維度的建模。整體的建模思路和Nbeats比較像，每一層擬合上一層的殘差。在一層的MSD-Mixer網(wǎng)絡中，首先將時間序列進行patch處理，使用一個Patch Encoder編碼，生成當前層時間序列的表示向量。這個表示向量會再經(jīng)過一個Decoder + Unpatching的反向處理，生成當前層的約結(jié)果，然后使用當前層的輸入減去這個預測結(jié)果得到殘差，作為下一層的輸入和預測目標。最終使用各個層的預測結(jié)果加到一起，得到最終的預測結(jié)果。

Multi-resolution Time-Series Transformer for Long-term Forecasting則是在建模過程中，每層Transformer都進行不同頻率的merge操作，實現(xiàn)不同層的不同分辨率數(shù)據(jù)輸入。模型的輸入序列采用patch的方式，將時間序列分成多個patch。在每層Transformer之后，會將patch進行Merge操作，也就是從細粒度patch轉(zhuǎn)換成粗粒度patch，從底層到上層patch的粒度逐漸變粗。

5.動態(tài)多頻率Patch

MultiResFormer: Transformer with Adaptive Multi-Resolution Modeling for General Time Series Forecasting提出了一種自適應的多尺度建模方法。這篇文章實現(xiàn)了一種自適應分辨率的設(shè)定，即根據(jù)時間序列本身的特性，自動選擇用什么樣的分辨率對時間序列進行patch分割。

實現(xiàn)自適應多粒度建模的核心是Salient Periodicity Detection模塊，這個模塊用來識別時間序列中最關(guān)鍵的周期信息，主要是通過快速傅里葉變換將時間序列映射到頻域，選擇頻域中幅度最大的topK個主成為作為時間序列的主要周期。接下來，根據(jù)這些周期長度，對時間序列進行分patch，每個patch使用一個獨立的Transformer分支進行建模，這些Transformer共享參數(shù)。每種分辨率的patch會加上一個相應分辨率的可學習embedding進行信息增強。

在各個尺寸patch的建模中，不同patch尺寸的序列長度不同，文中通過差值的方式，將各個尺寸patch的長度對齊，然后在對應時刻進行各個patch表征的融合，得到每層的輸出。各個層的輸出都保持和輸入序列長度一致的形式。

本文轉(zhuǎn)載自 ??圓圓的算法筆記??，作者：Fareise