今天給大家介紹最近的一篇探索如何在更好地建模通道(channel)之間的相關(guān)性的多元時間序列文章。文章旨在解決通道獨立(channel independent)方法缺乏對通道之間相關(guān)性的利用，以及通道依賴(channel dependent)方法不夠魯棒的問題。這篇文章，提出了一種新穎的中心化結(jié)構(gòu)傳遞不同通道的信息，相比于分布式結(jié)構(gòu)如Attention，Mixer等，這種中心化的結(jié)構(gòu)既降低了計算開銷，而且提高了對于異常通道的魯棒性，以更低的復(fù)雜度獲得更好的性能。

論文標題：SOFTS: Efficient Multivariate Time Series Forecasting with Series-Core Fusion

下載地址：??https://arxiv.org/pdf/2404.14197??

論文代碼: https://github.com/Secilia-Cxy/SOFTS

1.背景介紹

在多元時間序列領(lǐng)域，學(xué)術(shù)界存在兩種建模方式，一種是通道獨立(channel independent)方法，一種是通道依賴(channel dependent)方法。

通道獨立方法將多元時間序列將多個通道的序列看做多條單元時間序列，使用一個統(tǒng)一的單元時序預(yù)測模型進行預(yù)測，這種方法因其在非平穩(wěn)數(shù)據(jù)上的出色魯棒性被眾多先進方法采用，但是其忽略了通道之間的相關(guān)，阻礙了其進一步的性能提升。

通道依賴方法利用特定的通道信息融合模塊實現(xiàn)通道間信息的交互，然而這些方法要么過于依賴通道之間的相關(guān)性導(dǎo)致缺乏足夠的魯棒性對抗序列的非平穩(wěn)性，要么使用了復(fù)雜的關(guān)系建模模塊如Attention使得復(fù)雜度過高難以擴展。

因此，如何利用通道獨立的魯棒性，并且設(shè)計更魯棒和高效的通道交互模塊，是先進多元時序預(yù)測方法必須要考慮的問題。

為了解決上述問題，文章主要有以下幾個貢獻：

提出了Series-cOre Fused Time Series（SOFTS）模型，這是一種基于MLP的簡單模型，具有較低的復(fù)雜度但表現(xiàn)出最先進的性能。

提出了STar Aggregate-Redistribute（STAR）模塊，作為SOFTS的基礎(chǔ)。STAR設(shè)計為一種中心化結(jié)構(gòu)，使用一個核心來聚合和交換各通道的信息。與Attention等分布式結(jié)構(gòu)相比，STAR不僅降低了復(fù)雜度，還提高了對通道異常的魯棒性。

最后，通過廣泛的實驗，我們驗證了SOFTS的有效性、可擴展性以及魯棒性。

1.實現(xiàn)方法

這篇文章提出了一個非常簡單且高效的基于MLP的方法，其名字為Series-cOre Fused Time Series forecaster (SOFTS)。正如其名，該方法通過多個通道的序列表示和整個多元序列的核心表示融合來實現(xiàn)通道之間關(guān)系的建模。

主要架構(gòu)如圖下圖所示?？梢钥吹?， SOFTS和iTransformer一樣，使用序列級別的embedding，提取每個通道的表示，不同的是，SOFTS通過一種星型聚合分發(fā)模塊(STar Aggregate Redistribute module, 簡稱STAR)提取不同通道的序列之間的相關(guān)性，交換不同序列的信息。最后，SOFTS通過線性層對每個通道的未來做出預(yù)測

STAR是整個SOFTS方法的核心，它針對性地解決了現(xiàn)有通道交互模塊的兩個問題：(1) Attention等模塊需要兩兩對比不同通道并計算相似度，導(dǎo)致平方級別的復(fù)雜度 (2) 這種兩兩比較易受通道本身的質(zhì)量影響，而在現(xiàn)實的非平穩(wěn)數(shù)據(jù)上，往往存在很多異常通道。為了實現(xiàn)高效性和魯棒性，STAR借鑒了計算機網(wǎng)絡(luò)結(jié)構(gòu)中的中心化架構(gòu)，相比于深度學(xué)習(xí)里常用的分布式架構(gòu)如Attention, Mixer, GNN等，STAR能夠?qū)?fù)雜度縮小到線性級別的同時，并且減小異常通道的影響。

具體而言，多個通道的序列表示首先通過一個MLP映射，然后通過一個pooling操作得到一個核心(core)向量，這個核心向量綜合了不同序列的特征，代表了整個序列的全局信息，然后將這個核心向量拼接到每個表示后，并用另一個MLP層進行融合。整個過程的計算復(fù)雜度只與通道數(shù)量，序列長度等呈線性關(guān)系。

3.實驗結(jié)果

在實驗效果上，本文提出的SOFTS模型結(jié)構(gòu)在現(xiàn)有的多元時序預(yù)測benchmark上均取得了比較明顯的提升。在下表展示出的24個結(jié)果中，有21個是第一，3個是第二。

基于純MLP結(jié)構(gòu)，SOFTS能以更小的計算和存儲代價獲得更好的性能，如右圖所示，以更快的推理和更小的內(nèi)存消耗獲得了最好的性能。且由于SOFTS模型的線性復(fù)雜度，其更易擴展到更大規(guī)模的數(shù)據(jù)集和問題中，如左圖所示，對比了同樣性能較好的iTransformer和PatchTST模型，SOFTS在通道迅速增長的情況下依舊可用，而另兩個模型則迅速超過常用的24G顯存上限。

通過STAR模塊，SOFTS能夠調(diào)整異常序列的表征，下圖(a)表示了進入STAR之前的序列表示，異常的通道出現(xiàn)在遠離正常分布的位置，在這種表示上預(yù)測僅能獲得0.414的預(yù)測誤差，而通過STAR調(diào)整后，這些通道的表示被重新調(diào)整，根據(jù)不同序列的特征聚類到類似的正常通道附近，其預(yù)測性能也被提升至0.374，提升幅度達9%。其性能受通道噪聲的影響也更小，如下圖(c)。因此，采用STAR結(jié)構(gòu)的SOFTS更具魯棒性。

4.總結(jié)

盡管通道獨立已被證明是提高多變量時間序列預(yù)測魯棒性的有效策略，但通道間的相關(guān)性是進一步提升性能的重要信息。之前的方法在提取相關(guān)性時面臨著模型復(fù)雜性和性能之間的兩難困境。在本文中，我們通過引入Series-cOre Fused Time Series預(yù)測器（SOFTS）解決了這一難題。SOFTS在保持低復(fù)雜度的同時，實現(xiàn)了最先進的性能，并且通過創(chuàng)新的STar Aggregate-Redistribute（STAR）模塊高效地捕捉了通道間的相關(guān)性。

本文轉(zhuǎn)載自 ??圓圓的算法筆記??，作者： 韓路