今天給大家介紹一篇AAAI 2024中多元時(shí)間序列預(yù)測的工作，文章由中科大、騰訊等機(jī)構(gòu)聯(lián)合發(fā)布。本文的核心是提出了一種動(dòng)態(tài)可擴(kuò)展的時(shí)間序列patch處理方法，相比原來固定窗口的patch劃分，能最大限度保留時(shí)間序列片段的完整性，避免將存在連續(xù)規(guī)律的時(shí)間序列分到不同patch中，實(shí)現(xiàn)了多元時(shí)間序列預(yù)測任務(wù)上的效果提升。

論文標(biāo)題：HDMixer: Hierarchical Dependency with Extendable Patch for Multivariate Time Series Forecasting

下載地址：??https://ojs.aaai.org/index.php/AAAI/article/view/29155??

背景

現(xiàn)有的多元時(shí)間序列預(yù)測，已經(jīng)切換為以patch為主的數(shù)據(jù)處理方式，將原始的時(shí)間序列根據(jù)窗口分割成多個(gè)patch，輸入到后續(xù)模型中。然而，這種方式的問題在于，patch的劃分是固定的，容易導(dǎo)致patch內(nèi)核心信息的缺失。此外，現(xiàn)有方法更關(guān)注與patch間信息的建模，而忽略了patch內(nèi)信息，以及變量之間信息的建模。

本文針對(duì)上述問題，提出2個(gè)核心優(yōu)化點(diǎn)，一個(gè)是設(shè)計(jì)了動(dòng)態(tài)可擴(kuò)展的patch生成方法，讓每個(gè)patch的生成更加個(gè)性化；另一個(gè)是一種同時(shí)考慮patch內(nèi)短期、patch間長期、變量間3種關(guān)系的層次全MLP時(shí)序預(yù)測網(wǎng)絡(luò)結(jié)構(gòu)。

建模方法

本文的核心點(diǎn)包括2個(gè)方面，第一個(gè)是可擴(kuò)展的動(dòng)態(tài)patch劃分代替固定patch劃分；另一個(gè)是在模型結(jié)構(gòu)上采用全MLP的3層時(shí)間序列建模，實(shí)現(xiàn)patch內(nèi)、patch間、變量間3個(gè)維度的信息交互。

本文設(shè)計(jì)了一種動(dòng)態(tài)可擴(kuò)展的patch生成方法。這種方法將patch的生成抽象成5元組（中心點(diǎn)，樣本點(diǎn)數(shù)量，中心點(diǎn)偏離數(shù)、左側(cè)邊界偏離數(shù)、右側(cè)邊界偏離數(shù)）。原始的patch方法，只有中心點(diǎn)和樣本點(diǎn)數(shù)量，這兩個(gè)預(yù)先定義好，就能確定patch的生成邏輯。本文的方法增加了后面3個(gè)參數(shù)，在原始的patch基礎(chǔ)上做一個(gè)中心點(diǎn)、左右邊界的滑動(dòng)，使得劃分出來的patch更加合理。其中后3個(gè)參數(shù)是可學(xué)習(xí)的參數(shù)。

為了監(jiān)督這個(gè)可擴(kuò)展patch劃分的合理性，文中使用交叉熵指標(biāo)，計(jì)算使用原始patch方法和這種動(dòng)態(tài)patch方法，整體帶來的信息增益，并以此信息增益為目標(biāo)，監(jiān)督上述3個(gè)參數(shù)的學(xué)習(xí)，讓動(dòng)態(tài)劃分patch確實(shí)能帶來增加劃分后patch信息量的作用。

在模型結(jié)構(gòu)方面，模型結(jié)構(gòu)采用全MLP的層次形式，每層網(wǎng)絡(luò)分為3個(gè)層次，分別進(jìn)行patch內(nèi)建模、patch間建模、變量間建模。每個(gè)層次的模型都是MLP+GELU+殘差網(wǎng)絡(luò)組成。

實(shí)驗(yàn)結(jié)果

在多元時(shí)間序列不同時(shí)間窗口的效果評(píng)估上，本文提出的方法取得了7%的MSE效果提升。

文中也進(jìn)行了消融實(shí)驗(yàn)，對(duì)比是否引入可擴(kuò)展patch劃分，以及3層次建模（patch內(nèi)短期、patch間長期、變量間）這4個(gè)部分的效果差異，驗(yàn)證了各個(gè)模塊的效果。

本文轉(zhuǎn)載自?? 圓圓的算法筆記??，作者： Fareise