今天給大家介紹一篇CIKM 2024中的時(shí)間序列預(yù)測(cè)工作，這篇文章針對(duì)高維多變量時(shí)序預(yù)測(cè)問(wèn)題，提出了一種基于Transformer的建模方法。

論文標(biāo)題：Scalable Transformer for High Dimensional Multivariate Time Series Forecasting

下載地址：??https://arxiv.org/pdf/2408.04245v1??

1.背景

現(xiàn)在的時(shí)間序列預(yù)測(cè)主要研究點(diǎn)都是如何擴(kuò)長(zhǎng)能夠建模的歷史長(zhǎng)度和未來(lái)長(zhǎng)度，也就是時(shí)間維度上的擴(kuò)展。比較少的工作研究如何建模變量維度上的擴(kuò)展。

在多變量時(shí)間序列建模中，現(xiàn)在的方法主要集中在channel-independ和channel-depend兩種方式上。后者雖然能考慮到變量間的關(guān)系，理論上界更高，但是實(shí)際應(yīng)用中效果往往會(huì)比channel-independ方法效果差。特別是當(dāng)變量維度增大后，這種效果差異更加明顯。

例如文中通過(guò)實(shí)驗(yàn)驗(yàn)證，Crossformer、iTransformer等channel-independ建模方法，相比PatchTST等channel-independ建模方法，在高維多變量時(shí)序預(yù)測(cè)中平均會(huì)差19%。

文中在一個(gè)數(shù)據(jù)集上驗(yàn)證了Crossformer、iTransformer等channel-depend建模方法中，選擇變量的數(shù)量對(duì)效果的影響。選擇的變量按照和目標(biāo)序列的相關(guān)系數(shù)進(jìn)行排序，先引入相關(guān)度最高的，后引入相關(guān)度低的。從圖中可以看出，當(dāng)選擇50%的最高相關(guān)性變量建模時(shí)，效果達(dá)到最好，說(shuō)明引入多變量間關(guān)系建模確實(shí)可以提升效果。但是當(dāng)進(jìn)一步引入更多變量時(shí)，效果開始下降。

文中認(rèn)為，下降的原因主要是隨著引入變量的相關(guān)性變差，引入了更多噪聲，反而影響了模型的學(xué)習(xí)。比如下圖中，先引入的相關(guān)變量都和目標(biāo)序列趨勢(shì)很像，但是后引入的變量和目標(biāo)變量差異很大。

2.建模方法

針對(duì)上述分析，為了適應(yīng)這種高維多變量建模問(wèn)題，文中提出了一種稀疏關(guān)聯(lián)矩陣的Transformer建模方法。核心是篩選出相關(guān)性比較高的變量作為目標(biāo)變量的輔助序列，再基于Transformer構(gòu)建時(shí)間-空間的二維attention，實(shí)現(xiàn)最大化相關(guān)序列有效信息的引入。

整體的建模方法如圖所示。對(duì)于每個(gè)序列，根據(jù)皮爾遜相關(guān)系數(shù)，選擇和其最相關(guān)的topK的其他序列，這些序列作為輔助序列，和目標(biāo)序列一起輸入到后續(xù)的模型中。

這種引入外部序列的方法，會(huì)導(dǎo)致一個(gè)batch內(nèi)的樣本數(shù)量大增。為了減輕內(nèi)存和計(jì)算壓力，文中采用了一種ReIndex方法重新組織數(shù)據(jù)。原本的建模方法每個(gè)batch數(shù)據(jù)的組織方法如下圖灰色部分所示，隨機(jī)采樣多組target-輔助序列組合輸入模型。ReIndex的引入如右圖灰色所示，相當(dāng)于每次只訓(xùn)練一個(gè)target序列，然后將其輔助序列的不同子序列訓(xùn)練采樣多組。通過(guò)這種方式，省去了對(duì)多個(gè)target序列的采樣，大大降低的計(jì)算和內(nèi)存開銷。

在具體的模型結(jié)構(gòu)上，文中采用了一種2維Transformer。對(duì)于目標(biāo)序列和輔助序列，都分成多個(gè)patch。對(duì)于每個(gè)patch，加上其對(duì)應(yīng)的時(shí)間位置編碼，以及其對(duì)應(yīng)的channel位置編碼。相比于Crossformer在時(shí)間和變量?jī)蓚€(gè)維度進(jìn)行兩階段的attention，本文直接將所有時(shí)間、變量維度的patch放到一起進(jìn)行attention，實(shí)現(xiàn)任意時(shí)刻、任意變量之間的attention計(jì)算。

3.實(shí)驗(yàn)效果

文中在高維數(shù)據(jù)集中驗(yàn)證了效果，相比之前的channel-depend和channel-independ方法都取得了顯著的效果提升。

下圖展示了引入最相關(guān)topK、最不相關(guān)topK作為輔助序列的效果以及不引入輔助序列的效果對(duì)比，可以看到，只有當(dāng)引入最相關(guān)topK個(gè)序列時(shí)，效果才是最優(yōu)的，表明輔助序列和目標(biāo)序列的相關(guān)性，確實(shí)是channel-depend建模的關(guān)鍵。

本文轉(zhuǎn)載自 ??圓圓的算法筆記??，作者： Fareise