今天介紹一篇南大今年4月份發(fā)表的文章，主要探討了多元時(shí)間序列預(yù)測(cè)問(wèn)題中，獨(dú)立預(yù)測(cè)（channel independent）和聯(lián)合預(yù)測(cè)（channel dependent）二者效果的差異、背后的原因以及優(yōu)化方法。

論文標(biāo)題：The Capacity and Robustness Trade-off: Revisiting the Channel Independent Strategy for Multivariate Time Series Forecasting

下載地址：https://arxiv.org/pdf/2304.05206v1.pdf

1、獨(dú)立預(yù)測(cè)和聯(lián)合預(yù)測(cè)

多元時(shí)間序列預(yù)測(cè)問(wèn)題中，從多變量建模方法的維度有兩種類型，一種是獨(dú)立預(yù)測(cè)（channel independent，CI），指的是把多元序列當(dāng)成多個(gè)單變量預(yù)測(cè)，每個(gè)變量分別建模；另一種是聯(lián)合預(yù)測(cè)（channel dependent，CD），指的是多變量一起建模，考慮各個(gè)變量之間的關(guān)系。二者的差異如下圖。

這兩種方式各有特點(diǎn)：CI方法只考慮單個(gè)變量，模型更簡(jiǎn)單，但是天花板也較低，因?yàn)闆](méi)有考慮各個(gè)序列之間的關(guān)系，損失了一部分關(guān)鍵信息；而CD方法考慮的信息更全面，但是模型也更加復(fù)雜。

2、哪種方法更好

文中首先做了詳細(xì)的對(duì)比實(shí)驗(yàn)，在多個(gè)數(shù)據(jù)集，觀察CI方法和CD方法哪種效果更好（采用線性模型）。文中實(shí)驗(yàn)得到的一個(gè)核心結(jié)論是：CI方法在大多數(shù)任務(wù)上表現(xiàn)的更好，并且效果方差也更小。下面這張圖中可以看到，CI的MAE、MSE等指標(biāo)在各個(gè)數(shù)據(jù)集上基本都小于CD，同時(shí)效果的波動(dòng)也更小一些。

從下面的實(shí)驗(yàn)結(jié)果可以看到，CI相比CD，在絕大多數(shù)預(yù)測(cè)窗口長(zhǎng)度和數(shù)據(jù)集上，效果都是提升的。

為什么CI方法在實(shí)際應(yīng)用中比CD效果更好、更穩(wěn)定呢？文中進(jìn)行了一些理論證明，核心的結(jié)論是：真實(shí)數(shù)據(jù)往往存在Distribution Drift，而使用CI方法有助于緩解這個(gè)問(wèn)題，提升模型泛化性。下面這張圖，展示了各個(gè)數(shù)據(jù)集trainset和testset的ACF（自相關(guān)系數(shù)，反映了未來(lái)序列和歷史序列之間的關(guān)系）隨時(shí)間變化分布，可以看到Distribution Drift在各個(gè)數(shù)據(jù)集上是廣泛存在的（也就是trainset的ACF和testset的ACF不同，即兩者的歷史與未來(lái)序列的關(guān)系不同）。

文中通過(guò)理論證明了CI對(duì)于緩解因此Distribution Drift有效，CI和CD之間的選擇，是一種模型容量和模型魯棒性之間的權(quán)衡。CD模型更加復(fù)雜，但是也對(duì)于Distribution Drift更敏感。這其實(shí)和模型容量與模型泛化性之間的關(guān)系類似，越復(fù)雜的模型，模型擬合的訓(xùn)練集樣本越準(zhǔn)確，但是泛化性較差，一旦訓(xùn)練集和測(cè)試集分布差異較大，效果就會(huì)變差。

3、如何優(yōu)化

針對(duì)CD建模的問(wèn)題，文中提出了一些優(yōu)化方法，可以幫助CD模型更具魯棒性。

正則化：引入一個(gè)正則化損失，用序列減去最近的樣本點(diǎn)作為歷史序列輸入模型進(jìn)行預(yù)測(cè)，同時(shí)使用平滑約束預(yù)測(cè)結(jié)果，讓預(yù)測(cè)結(jié)果和最近鄰的觀測(cè)值偏差不要太大，使得預(yù)估結(jié)果更平；

低秩分解：將全連接參數(shù)矩陣分解成兩個(gè)低階矩陣，相當(dāng)于減少了模型容量，緩解過(guò)擬合問(wèn)題，提升模型魯棒性；

損失函數(shù)：采用MAE替代MSE，降低模型對(duì)于異常值的敏感度；

歷史輸入序列長(zhǎng)度：對(duì)于CD模型來(lái)說(shuō)，輸入的歷史序列越長(zhǎng)，可能反而會(huì)造成效果的下降，也是因?yàn)闅v序列越長(zhǎng)，模型越容易受到Distribution Shift的影響，而對(duì)于CI模型，增長(zhǎng)歷史序列長(zhǎng)度可以比較穩(wěn)定的提升預(yù)測(cè)效果。

4、實(shí)驗(yàn)效果

文中將上面提到的改進(jìn)CD模型的方法在多個(gè)數(shù)據(jù)集上進(jìn)行實(shí)驗(yàn)，相比CD取得比較穩(wěn)定的效果提升，說(shuō)明上述方法對(duì)于提升多元序列預(yù)測(cè)魯棒性有比較明顯的作用。此外，文中也列舉了低秩分解、歷史窗口長(zhǎng)度、損失函數(shù)類型等對(duì)于效果的影響實(shí)驗(yàn)結(jié)果。