多變量時(shí)間序列預(yù)測(cè)（MTSF）在金融投資、能源管理、天氣預(yù)測(cè)和交通優(yōu)化等領(lǐng)域具有重要應(yīng)用。然而，現(xiàn)實(shí)中的時(shí)間序列通常面臨兩大挑戰(zhàn)：

1. 時(shí)間模式的異質(zhì)性，即由于外部因素的影響，真實(shí)時(shí)間序列往往表現(xiàn)出非平穩(wěn)性（Temporal Distribution Shift, TDS），導(dǎo)致其分布和模式發(fā)生顯著變化；

2. 通道間的復(fù)雜關(guān)系，即不同通道（變量）之間通常存在復(fù)雜且交錯(cuò)的相關(guān)性，包括顯著相關(guān)的通道、噪聲通道以及無(wú)關(guān)通道，這種復(fù)雜性使得精準(zhǔn)建模變得尤為困難。

近日，來(lái)自華東師范大學(xué)和丹麥奧爾堡大學(xué)的科研人員合作，創(chuàng)新性地提出了一種基于時(shí)間和通道雙向聚類架構(gòu)的時(shí)間序列預(yù)測(cè)模型DUET，在多變量時(shí)間序列預(yù)測(cè)領(lǐng)域取得了巨大的突破。

論文地址：https://arxiv.org/pdf/2412.10859

Github：https://github.com/decisionintelligence/DUET

主要挑戰(zhàn)

由時(shí)序漂移引起的異質(zhì)性時(shí)間模式難以建模

在實(shí)際應(yīng)用中，描述不穩(wěn)定系統(tǒng)的時(shí)間序列往往容易受到外部因素的影響。這種時(shí)間序列的非平穩(wěn)性意味著數(shù)據(jù)分布會(huì)隨著時(shí)間的推移發(fā)生變化，這一現(xiàn)象被稱為時(shí)間分布漂移（Temporal Distribution Shift, TDS）TDS會(huì)導(dǎo)致時(shí)間序列呈現(xiàn)出不同的時(shí)間模式，這種現(xiàn)象正式被稱為時(shí)間模式的異質(zhì)性。

例如，圖1(a) 展示了一個(gè)經(jīng)濟(jì)領(lǐng)域的時(shí)間序列，反映了隨國(guó)際環(huán)境變化而產(chǎn)生的波動(dòng)。

可以觀察到，三個(gè)時(shí)間區(qū)間 A、B 和 C 遵循不同的時(shí)間分布，這一點(diǎn)可以通過(guò)圖1 (b)、圖1 (c) 和圖1 (d) 所示的值直方圖得到證明。這種分布的變化伴隨著時(shí)間模式的差異。正如圖1 (a) 所示，藍(lán)色區(qū)間 A 呈現(xiàn)下降趨勢(shì)，綠色區(qū)間 B 呈現(xiàn)上升趨勢(shì)，而黃色區(qū)間 C 則表現(xiàn)為更陡峭的下降趨勢(shì)。

考慮到這些模式在時(shí)間序列中的普遍存在，將其納入建模過(guò)程顯得尤為重要。然而，近期的研究大多以隱式方式處理時(shí)間模式的異質(zhì)性，這在很大程度上削弱了預(yù)測(cè)的準(zhǔn)確性。

復(fù)雜的通道間關(guān)系難以靈活建模

多變量時(shí)間序列預(yù)測(cè)任務(wù)中，建模不同通道之間的相關(guān)性至關(guān)重要，因?yàn)槔闷渌嚓P(guān)通道的信息往往可以提升特定通道的預(yù)測(cè)精度。

例如，在天氣預(yù)測(cè)中，溫度的預(yù)測(cè)可以通過(guò)結(jié)合濕度、風(fēng)速和氣壓等數(shù)據(jù)得到改進(jìn)，因?yàn)檫@些因素之間相互關(guān)聯(lián)，可以提供更全面的天氣狀況信息。

研究人員探索了多種通道策略，包括：將每個(gè)通道獨(dú)立對(duì)待 (Channel-Independent, CI); 假設(shè)每個(gè)通道與其他所有通道相關(guān)(Channel-Dependent, CD); 以及將通道分組為若干簇 (Channel-Hard-Clustering, CHC)。

CI強(qiáng)制對(duì)不同通道使用相同的模型。盡管這一策略具有一定的魯棒性，但它忽略了通道之間的潛在交互，可能在未見(jiàn)通道的泛化能力和建模容量上受到限制；

CD 則同時(shí)考慮所有通道，并生成用于解碼的聯(lián)合表示，但可能受到無(wú)關(guān)通道噪聲的干擾，從而降低模型的魯棒性；

CHC 通過(guò)硬聚類將多變量時(shí)間序列劃分為互不相交的簇，在每個(gè)簇內(nèi)使用 CD 建模方法，而在簇之間使用CI方法。

然而，該方法僅考慮同一簇內(nèi)的關(guān)系，限制了其靈活性和通用性。目前尚未有一種方法能夠精確且靈活地建模通道之間的復(fù)雜交互關(guān)系。

核心貢獻(xiàn)

為了解決多變量時(shí)間序列預(yù)測(cè)（MTSF）問(wèn)題，論文提出了一個(gè)通用框架——DUET。該框架通過(guò)時(shí)間維度和通道維度的雙向聚類，學(xué)習(xí)準(zhǔn)確且自適應(yīng)的預(yù)測(cè)模型。

研究人員設(shè)計(jì)了時(shí)間聚類模塊（TCM），將時(shí)間序列劃分為細(xì)粒度的分布簇。針對(duì)不同的分布簇設(shè)計(jì)了多種模式提取器，以捕捉其獨(dú)特的時(shí)間模式，從而建模時(shí)間模式的異質(zhì)性。

通道聚類模塊（CCM），通過(guò)度量學(xué)習(xí)在頻率域中靈活捕捉通道間的關(guān)系，并進(jìn)行稀疏化處理以抑制噪聲通道的影響，從而實(shí)現(xiàn)靈活且高效的通道關(guān)系建模。

最后，在TFB的25個(gè)數(shù)據(jù)集上進(jìn)行了廣泛實(shí)驗(yàn)，實(shí)驗(yàn)結(jié)果表明，DUET優(yōu)于現(xiàn)有的最先進(jìn)基線。此外，所有數(shù)據(jù)集和代碼已公開。

模型框架

時(shí)間聚類模塊 (TCM)

分布路由器：通過(guò)兩層全連接網(wǎng)絡(luò)將時(shí)間序列的潛在分布投影到高維空間，利用 Noisy Gating 技術(shù)選擇最可能的分布簇。

線性模式提取器：將時(shí)間序列分解為趨勢(shì)部分和季節(jié)性部分，分別通過(guò)線性變換提取特征。

聚合器：利用分布路由器的權(quán)重，動(dòng)態(tài)聚合提取的特征，整合為全局時(shí)間特征表示。

通道聚類模塊 (CCM)

頻域通道表示：利用傅里葉變換將時(shí)間序列映射到頻率空間，以頻域特征衡量通道的相關(guān)性；使用可學(xué)習(xí)的Mahalanobis距離構(gòu)建通道間的關(guān)系矩陣。

稀疏化：通過(guò)Gumbel Softmax重采樣策略，將通道關(guān)系矩陣轉(zhuǎn)化為稀疏的掩碼矩陣，僅保留對(duì)預(yù)測(cè)任務(wù)有益的通道連接。

融合模塊 (FM)

使用掩碼注意力機(jī)制，將時(shí)間特征與通道掩碼矩陣相結(jié)合，以生成最終的特征表示。

實(shí)驗(yàn)效果

整體性能

DUET在10個(gè)被廣泛認(rèn)可的真實(shí)數(shù)據(jù)集上大幅領(lǐng)先于當(dāng)前最先進(jìn)模型。從絕對(duì)性能的角度來(lái)看，DUET 相較于表現(xiàn)次優(yōu)的基線模型 PDF，有顯著提升，均方誤差（MSE）降低了6.9%，平均絕對(duì)誤差（MAE）降低了 6.2%。

DUET 在應(yīng)對(duì)由時(shí)間分布漂移引起的時(shí)間異質(zhì)性問(wèn)題時(shí)表現(xiàn)出卓越的能力。此外，在不同通道策略的對(duì)比中，DUET 同樣展現(xiàn)了 CSC 策略的顯著優(yōu)勢(shì)。

消融實(shí)驗(yàn)

文中進(jìn)一步提供了一系列消融實(shí)驗(yàn)來(lái)驗(yàn)證模型框架設(shè)計(jì)的合理性。實(shí)驗(yàn)表明，DUET的設(shè)計(jì)在提升模型精度上是有效的。

參數(shù)敏感性分析：

DUET根據(jù)時(shí)間序列的時(shí)間分布將其聚類為M類，其中M是模式提取器的數(shù)目，研究人員分析了不同M值對(duì)預(yù)測(cè)精度的影響，并得出以下觀察結(jié)論：

1）當(dāng)M=1時(shí)，模型性能低于M≠1的情況

2）對(duì)于來(lái)自相同領(lǐng)域的數(shù)據(jù)集，例如電力領(lǐng)域的數(shù)據(jù)集ETTh1和ETTh2，最佳M值相同，均為4

3）對(duì)于來(lái)自不同領(lǐng)域的數(shù)據(jù)集，例如 ILI（健康領(lǐng)域）和 Exchange（經(jīng)濟(jì)領(lǐng)域），最佳N值分別為2和5

4）在選擇最合適的M時(shí)，模型性能在大多數(shù)情況下顯著優(yōu)于其他變體，突顯了在時(shí)間視角下進(jìn)行聚類的有效性，并表明來(lái)自相同領(lǐng)域的數(shù)據(jù)集通常具有相似的時(shí)間分布，反之亦然。

總結(jié)

論文提出了一種通用框架DUET，該框架通過(guò)在時(shí)間維度和通道維度上引入雙向聚類來(lái)提升多變量時(shí)間序列的預(yù)測(cè)能力。

DUET集成了一個(gè)時(shí)間聚類模塊（Temporal Clustering Module，TCM），該模塊將時(shí)間序列聚類為細(xì)粒度的分布簇，并針對(duì)不同分布簇設(shè)計(jì)多種模式提取器，以捕捉其獨(dú)特的時(shí)間模式，從而建模時(shí)間模式的異質(zhì)性。

此外，研究人員引入了通道聚類模塊（Channel Clustering Module，CCM），采用通道軟聚類策略，通過(guò)度量學(xué)習(xí)在頻率域中捕捉通道之間的關(guān)系，并進(jìn)行稀疏化處理。

最后，融合模塊（Fusion Module，F(xiàn)M）基于掩碼注意力機(jī)制，將TCM提取的時(shí)間特征與CCM生成的通道掩碼矩陣高效結(jié)合，這些創(chuàng)新機(jī)制共同賦予DUET卓越的預(yù)測(cè)性能。