這篇文章給大家介紹一下北郵在NeurIPS 2024中發(fā)表的一篇時間序列預(yù)測工作，重點研究了如果有效利用時間戳特征提升時序預(yù)測效果，相關(guān)方法可以嵌入到現(xiàn)有的各類SOTA時序預(yù)測模型中。

論文標(biāo)題：Rethinking the Power of Timestamps for Robust Time Series Forecasting: A Global-Local Fusion Perspective

下載地址：https://arxiv.org/pdf/2409.18696

1.研究背景

現(xiàn)有的時間序列預(yù)測方法大多依賴于數(shù)值型的歷史數(shù)據(jù)，并且假設(shè)這些數(shù)據(jù)的分布是相對穩(wěn)定的。盡管這類方法能夠在捕捉數(shù)據(jù)中的線性關(guān)系和周期性規(guī)律方面表現(xiàn)良好，但在面對由外部因素引起的非平穩(wěn)性和異常情況時，它們往往顯得力不從心。

比如，在節(jié)假日或特殊事件期間，人們的消費行為、出行模式等會發(fā)生顯著變化，導(dǎo)致相關(guān)指標(biāo)出現(xiàn)不同于平常的波動。如果模型不能充分考慮這些外部因素的影響，其預(yù)測結(jié)果可能會偏離實際情況，進(jìn)而影響決策的準(zhǔn)確性。

此外，現(xiàn)實世界中的數(shù)據(jù)常常因意外事件而遭受污染，如電力系統(tǒng)故障導(dǎo)致的異常高耗電量。缺乏對全局模式的深入理解使得現(xiàn)有方案易受模式異常及數(shù)據(jù)噪聲的影響。

時間戳蘊(yùn)含豐富的全局性季節(jié)特征，本應(yīng)成為提升預(yù)測準(zhǔn)確性的寶貴資源。例如，工作日通常會在特定時段迎來交通高峰期。遺憾的是，當(dāng)前研究大多聚焦于局部觀測的數(shù)值型數(shù)據(jù)，僅將時間戳作為可有可無的輔助信息源。

消融研究表明，即使去掉時間戳信息，大部分模型的表現(xiàn)也不會有顯著退步，這反映出當(dāng)前當(dāng)前對于以時間戳為代表的全局信息利用不足。

2.建模方法

針對上述問題，作者提出了一種通用框架GLAFF。作為一款插件，GLAFF能夠無縫集成到任何預(yù)測主干之中，借助全局信息增強(qiáng)主流模型的魯棒預(yù)測能力。

相較于通過early fusion整合時間戳信息的傳統(tǒng)方法，基于late fusion的GLAFF不僅實現(xiàn)了不同類型信息間的平衡利用，還能有效抵御來自單一數(shù)據(jù)源的噪聲干擾，從而顯著增強(qiáng)了整個系統(tǒng)的穩(wěn)定性和可靠性。

GLAFF插件的整體架構(gòu)下圖所示。在主干網(wǎng)絡(luò)根據(jù)局部觀測提供初始預(yù)測后，GLAFF利用全局信息對齊進(jìn)行修正。

具體而言，它先通過Attention-based Mapper對包含全局信息的時間戳進(jìn)行單獨建模，并將它們映射到符合標(biāo)準(zhǔn)分布的觀測值。隨后，為了處理滑動窗口的觀測值中存在異常的場景，作者利用 Robust Denormalizer對初始映射進(jìn)行逆規(guī)范化，從而減輕數(shù)據(jù)漂移的影響。最后，Adaptive Combiner在預(yù)測窗口內(nèi)動態(tài)調(diào)整全局映射和局部預(yù)測的組合權(quán)重，產(chǎn)生最終的預(yù)測結(jié)果。

Attention-based Mapper：采用Transformer模型中的編碼器架構(gòu)，包含了嵌入層、注意力模塊以及投影層。類似于多數(shù)基于Transformer的編碼器，GLAFF通過嵌入層將同一時間的時間戳向量視為一個標(biāo)記，以描述該向量的屬性。緊隨其后，多頭自注意力被應(yīng)用于標(biāo)記間的交互，以建模時間戳之間的相互依賴，并由前饋網(wǎng)絡(luò)單獨處理以進(jìn)行序列表示。最后，使用投影層來獲得初始映射結(jié)果。借助注意力機(jī)制的長距離依賴性和并行計算能力，Attention-based Mapper得以對以時間戳為代表的全局信息做到更充分的建模。

Robust Denormalizer：針對數(shù)據(jù)漂移現(xiàn)象，GLAFF對以時間戳為代表的全局信息采取了一種解糾纏的兩階段建模策略。第一階段中，由Attention-based Mapper直接產(chǎn)生的原始映射值被假定遵循正態(tài)分布規(guī)律，以此降低建模時間戳與觀測值之間依賴的難度。在第二階段，基于歷史窗口內(nèi)初始映射值和實際觀測值之間的分布偏差，Robust Denormalizer再分別將初始映射值逆標(biāo)準(zhǔn)化為最終映射值，以減輕數(shù)據(jù)漂移的影響。標(biāo)準(zhǔn)的逆標(biāo)準(zhǔn)化操作通常考慮均值和方差的差異。然而，這種方法容易受到極值的影響，在觀測數(shù)據(jù)含有異常時表現(xiàn)得不夠魯棒。作者分別使用中位數(shù)和分位數(shù)范圍替代均值和標(biāo)準(zhǔn)差，使得Robust Denormalizer對異常情況更加穩(wěn)健。

Adaptive Combiner：鑒于現(xiàn)實世界的復(fù)雜性，模型偏差的數(shù)據(jù)偏好應(yīng)該隨著在線概念漂移而不斷變化。當(dāng)時間序列模式清晰穩(wěn)定時，應(yīng)該給予魯棒的全局信息更多的關(guān)注。當(dāng)時間序列模式模糊多變時，應(yīng)該給予靈活的局部信息更多的關(guān)注。因此，作者提出了一種數(shù)據(jù)依賴策略來不斷更新模型選擇策略，自適應(yīng)的動態(tài)調(diào)整全局信息和局部信息的組合權(quán)重。Adaptive Combiner根據(jù)歷史窗口內(nèi)全局映射值和實際觀測值之間的偏差，動態(tài)調(diào)整預(yù)測窗口內(nèi)全局映射值和局部預(yù)測值的組合權(quán)重。之后，模型根據(jù)組合權(quán)重對雙源信息進(jìn)行求和，得出最終的預(yù)測結(jié)果。

3.實驗效果

在九個常用數(shù)據(jù)集上的實驗結(jié)果表明，GLAFF一致地增強(qiáng)了四個廣泛使用的主流預(yù)測基線的性能，充分證明了其有效性和優(yōu)越性。

除了評估指標(biāo)之外，預(yù)測質(zhì)量也至關(guān)重要。如下圖所示，通過兩個典型數(shù)據(jù)集上的對比分析可以看出，GLAFF生成的結(jié)果不僅更加接近實際情況，而且對于局部異常值具有更好的抵抗能力，而其他單獨運(yùn)作的主干模型則容易受到此類擾動的影響。

本文轉(zhuǎn)載自??圓圓的算法筆記??，作者：SanMoon ????