在多元時(shí)間序列預(yù)測(cè)中，如何建模多變量之間的關(guān)系一直是研究熱點(diǎn)。過(guò)去一年最火的研究方向之一就是多元時(shí)間序列應(yīng)該采用channel dependent（多變量聯(lián)合建模）還是channel independent（多變量獨(dú)立建模），以及channel dependent的各種改進(jìn)方法。

近期，一種新的探索多變量建模的方法正在興起。這類方法不再執(zhí)著于用復(fù)雜的網(wǎng)絡(luò)建模變量間關(guān)系，而是更直接一些，在預(yù)測(cè)每個(gè)變量的時(shí)間序列時(shí)，將其他所有變量都當(dāng)成外部特征或者輔助序列，研究的重點(diǎn)也就變成如何充分利用這些輔助序列提升目標(biāo)序列的預(yù)測(cè)效果。

今天這篇文章就給大家?guī)?lái)2篇近期清華、亞馬遜發(fā)表的相關(guān)工作。

1.清華-TimeXer

論文標(biāo)題：TimeXer: Empowering Transformers for Time Series Forecasting with Exogenous Variables

下載地址：https://arxiv.org/pdf/2402.19072v1.pdf

TimeXer是清華大學(xué)近期發(fā)表了一篇工作，以Transformer為基礎(chǔ)，通過(guò)更細(xì)致的建模外部變量建模實(shí)現(xiàn)目標(biāo)變量擬合效果的提升。

之前的建模中，更關(guān)心的是多變量和單變量的建模，即輸入一個(gè)變量預(yù)測(cè)該變量，或者輸入多個(gè)變量同時(shí)預(yù)測(cè)這多個(gè)變量，而對(duì)于輸入多個(gè)變量預(yù)測(cè)一個(gè)目標(biāo)變量的研究較少。輸入變量中，和目標(biāo)變量一致的為內(nèi)源變量，其他變量為外源變量。如何利用外源變量輔助提升內(nèi)源變量的預(yù)測(cè)效果，是本文的核心優(yōu)化目標(biāo)。而之前的Transformer、PatchTST等方法，其實(shí)都是多預(yù)測(cè)多或一對(duì)一，并不適合多對(duì)一的預(yù)測(cè)。因此本文對(duì)Transformer進(jìn)行了升級(jí)，適配這種一對(duì)多的預(yù)測(cè)場(chǎng)景。

文中對(duì)于內(nèi)院變量和外源變量?jī)深愖兞康奶幚聿捎昧藘煞N不同的形式。首先對(duì)于內(nèi)源變量，也就是待預(yù)測(cè)的變量，使用了patchTST的方式，將時(shí)間序列分成不同的片段，每個(gè)片段作為一個(gè)patch映射成embedding。另一方面，對(duì)于外部變量，則采用了類似iTransformer中的方法，將每個(gè)外部變量完整的映射成一個(gè)patch，生成對(duì)應(yīng)的embedding。文中認(rèn)為這種粗粒度的外部變量embedding生成方式，可以更好的將模型的重點(diǎn)放在刻畫外部變量對(duì)內(nèi)部變量的空間影響上。

在得到兩部分embedding后，對(duì)目標(biāo)變量的patch內(nèi)做self-attention，和PatchTST中的區(qū)別在于，會(huì)給每個(gè)目標(biāo)變量的patch表征拼接成外部變量生成的embedding，以此實(shí)現(xiàn)外部變量信息的引入。在cross attention階段，主要進(jìn)行了目標(biāo)變量表征和外部變量表征之間的cross attention，實(shí)現(xiàn)目標(biāo)變量和外部變量之間的關(guān)系提取。

2.亞馬遜-CATS

論文標(biāo)題：CATS: Enhancing Multivariate Time Series Forecasting by Constructing Auxiliary Time Series as Exogenous Variables

下載地址：https://arxiv.org/pdf/2403.01673v1.pdf

本文是亞馬遜發(fā)表的工作，核心思路是將其他變量作為輔助序列來(lái)提升目標(biāo)變量的預(yù)測(cè)效果。

對(duì)于每個(gè)變量，都選擇一部分其他變量作為輔助序列，這些輔助序列通過(guò)一個(gè)ATS Constructor進(jìn)行變換，得到有助于目標(biāo)變量預(yù)測(cè)的變換后結(jié)果。這些輔助序列變換后的結(jié)果，會(huì)和原始單變量的預(yù)測(cè)結(jié)果相加，得到最終的預(yù)測(cè)結(jié)果。

一個(gè)簡(jiǎn)單的例子如下圖，AB兩個(gè)序列，A是B的后移幾個(gè)step的變換結(jié)果。在AB兩個(gè)序列的多元預(yù)測(cè)中，單獨(dú)預(yù)測(cè)無(wú)法借助兩個(gè)序列之間的這種關(guān)系。如果采用本文提出的這種方法，在預(yù)測(cè)A的時(shí)候，將B看成輔助序列，經(jīng)過(guò)一個(gè)identity mapping得到shift后的結(jié)果，就可以直接用這個(gè)B的映射后結(jié)果用于預(yù)測(cè)A。

模型的整體結(jié)構(gòu)如下圖所示，遵循了Continuty、Sparsity、Variablity三個(gè)原則。

Continuty指的是連續(xù)性原則，通過(guò)在輔助序列的映射結(jié)果加上相鄰兩個(gè)點(diǎn)距離不能太遠(yuǎn)的平滑性約束實(shí)現(xiàn)。

Sparsity指的是稀疏性，對(duì)于多變量時(shí)間序列，可能只有一小部分適用于作為目標(biāo)序列的輔助序列，這里使用一個(gè)門控網(wǎng)絡(luò)，篩選少量的其他變量作為輔助序列，以免建模過(guò)于復(fù)雜導(dǎo)致過(guò)擬合。同時(shí)在時(shí)間維度上也應(yīng)用了Sparsity，只截取部分窗口的序列用于預(yù)測(cè)。

Variablity指的是要讓輔助序列部分能提取多樣性的序列間關(guān)系信息。文中通過(guò)對(duì)ATS Constructor結(jié)構(gòu)的設(shè)計(jì)實(shí)現(xiàn)，提出了基于卷積、不重疊卷積、獨(dú)立卷積等多種方式從不同角度提取輔助序列可用于目標(biāo)序列預(yù)測(cè)的信息。

本文轉(zhuǎn)載自 ??圓圓的算法筆記??，作者： Fareise