時間序列領(lǐng)域最近幾年的變化非常大，在2018年左右，RNN這類模型才剛在時間序列上應(yīng)用，而目前已經(jīng)基本和NLP、CV等領(lǐng)域?qū)R了。隨著深度學(xué)習(xí)在時間序列預(yù)測領(lǐng)域研究的深入，最近一年也出現(xiàn)了很多新的時間序列預(yù)測研究方向。這篇文章就給大家匯總一下最近比較熱門的時間序列研究點。

很多同學(xué)都感覺現(xiàn)在各種公眾號上時間序列的知識太雜太散，很難串聯(lián)成一個整體，系統(tǒng)性的學(xué)習(xí)。圓圓在知識星球中開設(shè)了系統(tǒng)性學(xué)習(xí)時間序列預(yù)測的專題課程，從最基礎(chǔ)的時間序列預(yù)測各類任務(wù)定義、數(shù)據(jù)處理，到模型結(jié)構(gòu)優(yōu)化、創(chuàng)新應(yīng)用。系統(tǒng)性梳理從2017年以來的近百篇時間序列論文工作，讓你對時間序列有一個全面的認(rèn)識和深入理解。

1.變量間關(guān)系建模

多元時間序列預(yù)測問題中，輸入是多條時間序列。最開始的研究并沒有特別關(guān)注這個點，每個時間步多個值就直接輸入到MLP中編碼，再輸入到后續(xù)的模型中。然而，在PatchTST中，提出了用channel independent的方式建模，即每個變量獨立預(yù)測，雖然損失了變量之間的關(guān)系的信息，但是卻取得了更好的效果。這個發(fā)現(xiàn)啟發(fā)了研究者，應(yīng)該如何進(jìn)行更好的多變量間關(guān)系建模。

近期也出現(xiàn)了很多多變量關(guān)系建模的相關(guān)工作。這些建模方法的核心思路，基本是將變量間關(guān)系建模，與時序建模這兩個問題拆解開，用不同的模塊分別建模，防止兩部分信息糾纏在一起造成的過擬合問題。比如iTransformer中，直接將時間維度的建模變成MLP，專門用transformer進(jìn)行變量間關(guān)系建模。再比如InjectTST中，每個變量仍然是獨立建模，但是單獨增加一個全局信息模塊，輸入所有變量的信息，再拼接回每個變量的時序表征，來完成變量間關(guān)系建模的目的。

2.頻域信息應(yīng)用

頻域信息一直是時間序列中的一個核心點，傳統(tǒng)的時間序列分析方法中，傅里葉變換等將時域映射到頻域的方法，是非常常用的。但是在最開始的深度學(xué)習(xí)時間序列模型中，很少用到頻域信息，更多是時間將時域的時間序列本身輸入到模型，忽略了頻域信息對于序列全局性特性刻畫的能力。因此，最近很多工作都開始將頻域信息融入到深度時間序列預(yù)測模型中。
這類方法的核心是，將時域中已經(jīng)成功應(yīng)用的建模方法，在頻域中也使用一遍，然后將時域和頻域獨立建模的表征融合到一起，進(jìn)行后續(xù)的預(yù)測。例如Frequency-domain MLP這篇文章中，將純MLP的時間序列建模方法直接遷移到頻域，驗證了頻域MLP是更好的時序建模方法。FEDformer則是將self-attention在頻域中進(jìn)行一次，補(bǔ)充了頻域信息。

3.大模型時間序列

由于大模型潮流的星期，時間序列也有很多工作開始朝著大模型的方向研究。大模型時間序列工作，基本可以分為兩種類型：第一種是直接用NLP的大模型做時間序列預(yù)測。這類方法中，使用GPT、Llama等NLP大模型進(jìn)行時間序列預(yù)測，重點是如何將時間序列數(shù)據(jù)轉(zhuǎn)換成適合大模型的輸入數(shù)據(jù)。第二種是訓(xùn)練時間序列領(lǐng)域的大模型。這類方法中，使用大量的時間序列數(shù)據(jù)集，聯(lián)合訓(xùn)練一個時間序列領(lǐng)域的GPT或者Llama等大模型，并用于下游時間序列任務(wù)。這類大模型的目的也不同，有的是搭建一個可以用于各類domain數(shù)據(jù)的時間序列預(yù)測大模型，有的則是搭建一個能用于各類時間序列問題的大模型。

比如TIME_LLM提出了一種reprogramming方法，將時間序列映射到文本，實現(xiàn)時間序列和文本這兩種模態(tài)之間的對齊。TimeGPT則是基于時間序列數(shù)據(jù)和GPT的結(jié)構(gòu)，訓(xùn)練了一個時間序列領(lǐng)域的大模型。

4.Mamba模型

Mamba是最近最火的模型之一，更是被業(yè)內(nèi)認(rèn)為可以有取代Transformer的潛力，在NLP中已經(jīng)取得了比較成功的效果驗證。這種序列建模方法，是非常適用于時間序列這種數(shù)據(jù)的，因此，最近也有很多工作嘗試將Mamba應(yīng)用到時間序列領(lǐng)域，驗證Mamba這種結(jié)構(gòu)對于時間序列場景的有效性。

在Is Mamba Effective for Time Series Forecasting?這篇文章中，初步驗證了Mamba結(jié)構(gòu)在時間序列上的效果，并驗證了有效性。在其后的一些文章中，則是不斷改進(jìn)Mamba結(jié)構(gòu)，適配時間序列，或者遷移Mamba在NLP最新的應(yīng)用方法到時間序列。例如MambaFormer將NLP中Transformer+Mamba的結(jié)構(gòu)從NLP領(lǐng)域遷移到時間序列領(lǐng)域，也取得了不錯的效果。

5.Patch建模優(yōu)化

Patch的時間序列處理方法是PatchTST中首先提出的，將原來的時間序列處理方法從點變成patch，增強(qiáng)每個區(qū)塊序列的完整性。這種建模方法也自此被廣泛應(yīng)用，目前成為了時間序列預(yù)測中的主流數(shù)據(jù)處理方法。

然而，基礎(chǔ)的Patch處理方法也存在問題，例如patch窗口的大小是固定的，靈活性較差。針對這類問題，一些工作對patch建模進(jìn)行優(yōu)化。例如，很多工作如patchformer，通過不同粒度的patch劃分，并行或串行的ensemble多個表征，實現(xiàn)對不同粒度信息的提取。在今年AAAI2024的工作HDMixer中，則是提出了一種可學(xué)習(xí)的動態(tài)patch方法，實現(xiàn)每個patch的窗口長度隨信息量動態(tài)變化的目的。

6.時序擴(kuò)散模型

擴(kuò)散模型也是最近很多的一個研究方向，在生成式模型中成為主流，在Sora等應(yīng)用中都有擴(kuò)散模型的身影。因此，基于擴(kuò)散模型的生成式時間序列概率預(yù)測，也成為一個目前比較新穎的研究方向。

早在2021年的工作TimeGrad中，就開始用擴(kuò)撒模型做時間序列生成了。在近期的工作TDSTF中，采用了Diffusion Transformer的框架，進(jìn)行時間序列生成，整體對齊了圖像生成中的SOTA方法。

本文轉(zhuǎn)載自 ??圓圓的算法筆記??，作者： Fareise