今天給大家介紹一篇清華大學(xué)關(guān)于深度時序模型的最新綜述性工作。這篇文章的著眼點是深度時間序列模型的模型結(jié)構(gòu)方面，提供了各類時間序列問題的深度學(xué)習(xí)模型結(jié)構(gòu)發(fā)展過程和效果對比，并提供了一套復(fù)現(xiàn)各類深度時序模型的開源代碼，目前git上已經(jīng)5k+個star。

下面整體介紹一下本文的核心內(nèi)容，包括任務(wù)類型、基礎(chǔ)模塊、模型結(jié)構(gòu)、Benchmark、實驗評估等5個部分。其中，開源代碼的代碼解析，已經(jīng)逐步更新到了知識星球中，感興趣的同學(xué)歡迎加入星球，在【代碼解析專欄】獲取相應(yīng)資料。

論文標題：Deep Time Series Models: A Comprehensive Survey and Benchmark

下載地址：https://arxiv.org/pdf/2407.13278v1

開源代碼：https://github.com/thuml/Time-Series-Library

1.任務(wù)類型

本文著眼點是深度時間序列模型的模型結(jié)構(gòu)，面向各個類型的時間序列任務(wù)，包括時間序列預(yù)測（Forecasting）、時間序列填充（Imputation）、異常值檢測（Anomaly Detection）、分類（Classification）等4種類型。各個類型任務(wù)的示意圖如下，對應(yīng)的在本文的代碼實現(xiàn)中，每個模型也同時兼容4種類型任務(wù)。

2.基礎(chǔ)模塊

在介紹模型結(jié)構(gòu)之前，本文重點介紹了深度時間序列相配套的基礎(chǔ)模塊。基礎(chǔ)模塊部分主要是如何處理原始的時間序列數(shù)據(jù)，讓其更好適配深度時序模型。具體可以分為以下幾個模塊。

平穩(wěn)性處理：包括ReVIN等的時間序列預(yù)處理方法，讓輸入序列具備平穩(wěn)的均值、方差等統(tǒng)計量；

分解：包括趨勢項、季節(jié)項分解，或者類似NBeats中basis擴展、多變量預(yù)測中的變量維度/時間維度的矩陣分解等；

傅里葉變換：包括各類的傅里葉變換，將時間序列數(shù)據(jù)從時域轉(zhuǎn)換成頻域，在頻域建模這類方法。

3.模型結(jié)構(gòu)

下圖展示了深度時間序列模型的各種結(jié)構(gòu)，以及各個模型的提出時間，涵蓋了深度時序模型的發(fā)展歷程。這些模型在知識星球中基本都有詳細解析，此外目前在知識星球持續(xù)更新的時間序列預(yù)測專題，也按照類似的思路詳細整理了各個模型結(jié)構(gòu)的原理，感興趣的同學(xué)可以加入查看相應(yīng)專欄。

第一類模型是基于MLP的建模方法。這類模型很簡單，以歷史序列作為輸入，通過一個全連接網(wǎng)絡(luò)，映射到輸出維度；

第二類模型是基于RNN的建模方法，核心是基于RNN的自回歸建模能力，對歷史規(guī)律進行捕捉，并自回歸的逐個解碼出未來每個時間步的預(yù)測結(jié)果；

第三類模型是基于CNN的建模方法，包括基礎(chǔ)的1D建模，以及在TimesNet中提出的2D建模方法；

第四類模型是基于GNN的建模方法，主要用在多變量時間序列建模中，將各個變量之間的關(guān)系，通過圖學(xué)習(xí)的方式刻畫出來；

第五類模型是基于Transformer的建模方法，也是目前最常見的模型。文中又根據(jù)attention的建模維度，進一步分為point-wise、patch-wise、series-wise類型。Point-wise就是最基礎(chǔ)的Transformer，每個時間步之間計算attention score；patch-wise就是PatchTST中的方法，將相鄰幾個時間步的序列聚合成patch，attention作用到patch之間；series-wise指的是iTransformer這種方法，將一個序列作為整體，attention主要用在變量間關(guān)系的計算。

4.Benchmark

文中搭建了一套完整的深度時間序列模型Benchmark，整體構(gòu)造如下圖，包括數(shù)據(jù)源、模型Layer、整體模型、適配不同任務(wù)的head、模型評估等模塊。

在這個benchmark中，將各個深度學(xué)習(xí)時間序列模型拆分成基礎(chǔ)的組件，也就是Layers中，再基于這些Layers組件，拼湊成各個SOTA的時間序列模型完整結(jié)構(gòu)。同時，通過不同的head輸出設(shè)計，適配包括分類、填充、預(yù)測、異常檢測等多項任務(wù)。

5.實驗評估

基于上述的深度時序模型Benchmark，本文進行了一系列實驗，評估各個模型在各類任務(wù)上的效果。下圖是區(qū)分CNN、RNN、MLP、Transformer等模型結(jié)構(gòu)在不同任務(wù)上的效果。整體來看，Transformer模型在各個任務(wù)上都取得了更好的效果，而CNN模型在分類問題、填充問題、異常檢測問題上，可以取得比Transformer更優(yōu)的效果。

在具體的模型效果上，下圖列舉了不同SOTA模型在各個任務(wù)上的效果排名，其中iTransformer、Transformer、PatchTST在時序預(yù)測上取得了最優(yōu)效果了；TimesNet則在剩余的填充任務(wù)、分類任務(wù)、異常檢測任務(wù)中取得了最優(yōu)效果。

? 圖片 ?

本文轉(zhuǎn)載自 ??圓圓的算法筆記??，作者： Fareise