本文的通訊作者為北京大學(xué)計(jì)算機(jī)學(xué)院長(zhǎng)聘副教授楊仝和香港理工大學(xué)助理教授王淑君。第一作者為香港理工大學(xué) 24 級(jí)博士生余國(guó)齊，以及聯(lián)合作者北京大學(xué) 21 級(jí)軟微學(xué)院博士生、每因智能創(chuàng)始人郭瀟宇等。研究工作在北京大學(xué)計(jì)算機(jī)學(xué)院數(shù)據(jù)結(jié)構(gòu)實(shí)驗(yàn)室和每因智能發(fā)起的研究課題中完成。 

• 論文鏈接：https://arxiv.org/pdf/2410.17159
• 代碼鏈接：https://github.com/Levi-Ackman/LiNo

時(shí)間序列數(shù)據(jù)，作為連續(xù)時(shí)間點(diǎn)的數(shù)據(jù)集合，廣泛存在于醫(yī)療、金融、氣象、交通、能源（電力、光伏等）等多個(gè)領(lǐng)域。有效的時(shí)間序列預(yù)測(cè)模型能夠幫助我們理解數(shù)據(jù)的動(dòng)態(tài)變化，預(yù)測(cè)未來趨勢(shì)，從而做出更加精準(zhǔn)的決策。然而，時(shí)間序列數(shù)據(jù)通常包含復(fù)雜的線性和非線性模式，這些模式往往相互交織 (見下圖 Fig.1)，給預(yù)測(cè)模型的設(shè)計(jì)和優(yōu)化帶來了巨大挑戰(zhàn)。

Fig.1 現(xiàn)實(shí)世界的時(shí)間序列往往是多種線性和非線性的交疊。上圖中紅色的序列可以被表征為其下方的兩種線性和兩種非線性模式的加和。

現(xiàn)有的模型依賴于 Autoformer 中提出的基于殘差的 Trend (線性) 和 seasonal (非線性) 分解 —— 先使用一個(gè)運(yùn)動(dòng)平均核 (Auto/FEDformer,DLinear) 或者可學(xué)習(xí)卷積 (Leddam) 來獲取 Trend 項(xiàng)，然后使用原始序列減去 Trend 得到 Seasonal 項(xiàng)。但是這樣只能獲取簡(jiǎn)單的線性模式，而且得到的非線性模型或者說 Seasonal 項(xiàng)事實(shí)上是由未充分提取的線性模型，待提取的非線性模式，以及序列中的噪聲所組成的，應(yīng)該被稱為 Residual（殘差），而不是 Seasonal。

Fig.2 LiNo 在電力數(shù)據(jù)集中最后一個(gè)變量上的預(yù)測(cè)可視化，LP 指線性預(yù)測(cè)，NP 指非線性預(yù)測(cè)。左側(cè)的 Prediction（預(yù)測(cè)值）被劃分為 General 的線性和非線性預(yù)測(cè)，中間和右側(cè)，線性和非線性預(yù)測(cè)進(jìn)一步被劃分為更細(xì)致的多種模式。

Fig.3 Fig2 中用于預(yù)測(cè)各個(gè)線性和非線性分量的抽象權(quán)重的可視化。可以看到每種模式的預(yù)測(cè)權(quán)重是各有差異的。

同時(shí)，觀察 Fig2&3，我們可以看到線性模式更多關(guān)注序列的長(zhǎng)期模式，而非線性更多關(guān)注短期浮動(dòng)。另外，用于預(yù)測(cè)線性和非線性的權(quán)重，以及用于預(yù)測(cè)不同線性或者不同非線性的權(quán)重之間均存在差異。因此，高效地對(duì)這些線性和非線性模式進(jìn)行分離，不僅可以幫助理解時(shí)間序列內(nèi)部的特質(zhì)，得到更具有解釋性的預(yù)測(cè)結(jié)果，還能幫助我們?cè)O(shè)計(jì)更高效更魯棒的預(yù)測(cè)算法。

正是在這樣的背景下，北京大學(xué)聯(lián)合香港理工大學(xué)以及每因智能的研究團(tuán)隊(duì)提出了 LiNo 框架。該框架通過遞歸殘差分解（Recursive Residual Decomposition, RRD）技術(shù)，實(shí)現(xiàn)了對(duì)線性和非線性模式的顯式提取。

Fig.4 LiNo 框架圖

LiNo 框架的算法核心在于其遞歸殘差分解（RRD）策略，該策略靈感來源于經(jīng)驗(yàn)?zāi)B(tài)分解（Empirical Mode Decomposition, EMD）。LiNo 采用兩個(gè)主要的模塊：Li 塊和 No 塊，分別負(fù)責(zé)線性和非線性模式的提取。

• Li 塊（Linear block）：這一模塊負(fù)責(zé)提取時(shí)間序列中的線性模式，如趨勢(shì)和周期性成分。通過學(xué)習(xí)時(shí)間序列數(shù)據(jù)的自回歸特性，Li 塊可以捕捉長(zhǎng)期依賴關(guān)系。Li 塊可以采用移動(dòng)平均核或其他線性濾波器，以捕捉數(shù)據(jù)中的線性結(jié)構(gòu)。
• No 塊（Nonlinear block）：這一模塊負(fù)責(zé)提取時(shí)間序列中的非線性模式，如突變和復(fù)雜的季節(jié)性變化。No 塊可以采用 Transformer 編碼器或 TSMixer 等其他非線性模型，以捕捉數(shù)據(jù)中的非線性動(dòng)態(tài)。
• 通過交替和遞歸地應(yīng)用 Li 塊和 No 塊，LiNo 框架能夠逐步剝離并提取時(shí)間序列中的復(fù)雜模式，直到殘差信號(hào)中不再包含有用的信息。在經(jīng)過多個(gè) LiNo 塊的處理后，最終的預(yù)測(cè)結(jié)果是通過聚合所有 Li 塊和 No 塊的輸出得到的。

這種方法不僅提高了模型對(duì)周期性特征的捕捉能力，而且增強(qiáng)了對(duì)非周期性特征的建模能力。

以下是算法的詳細(xì)過程：

1.Li 塊（Li Block）

Li 塊的設(shè)計(jì)目的是提取時(shí)間序列中的線性模式。它通過一個(gè)可學(xué)習(xí)的自回歸模型（AR）來實(shí)現(xiàn)，該模型具有完整的感受野，可以替代傳統(tǒng)的移動(dòng)平均（MOV）、可學(xué)習(xí)的一維卷積核（LD）和指數(shù)平滑函數(shù)（ESF）。

• 線性模式提?。?/span>

對(duì)于輸入特征，其中，Li 塊通過以下公式提取第 i 個(gè)線性模式：

這里，表示自回歸系數(shù)，表示偏置項(xiàng)。

• 卷積操作：

提取線性部分的過程可以通過卷積實(shí)現(xiàn)，其中卷積核的權(quán)重設(shè)置為，偏置的權(quán)重設(shè)置為。

• 填充和 Dropout：

在應(yīng)用卷積之前，對(duì)輸入特征 H_i 進(jìn)行填充，以確保 H_i 和 L_i 具有相同的尺度。通過應(yīng)用 Dropout 以增強(qiáng)模型的泛化能力。

• 線性預(yù)測(cè)：

- 通過映射提取的線性成分 L_i 得到該層的線性預(yù)測(cè)。

2.No 塊（No Block）

No 塊的設(shè)計(jì)目的是同時(shí)處理時(shí)間序列中的時(shí)變模式、頻率信息和序列間依賴性。

• 時(shí)變和頻率模式提?。?/span>

- 通過線性投影在時(shí)域和頻域提取時(shí)變模式 和頻率信息模式。

- 使用快速傅里葉變換（FFT）和逆快速傅里葉變換（IFFT）在時(shí)域和頻域之間轉(zhuǎn)換。

• 特征融合：

將時(shí)域和頻域的特征融合并激活。

• 序列間依賴性建模：

使用 softmax 函數(shù)對(duì)進(jìn)行通道維度的歸一化，然后計(jì)算加權(quán)平均值以獲得序列間依賴性信息。

• 非線性模式整合：

將時(shí)變、頻率和序列間依賴性信息整合，通過層歸一化和 MLP 處理，得到整體非線性模式 N_i。

• 非線性預(yù)測(cè)：

通過映射提取的非線性部分 N_i 得到該層的非線性預(yù)測(cè)。

3. 聚合方法

最終的預(yù)測(cè)結(jié)果是通過聚合所有 Li 塊和 No 塊的輸出得到的：

這種方法不僅提高了模型對(duì)周期性特征的捕捉能力，而且增強(qiáng)了對(duì)非周期性特征的建模能力，從而在多個(gè)真實(shí)世界數(shù)據(jù)集上實(shí)現(xiàn)了優(yōu)于現(xiàn)有最先進(jìn)方法的性能。

在涵蓋電力、金融、交通等 13 個(gè)廣泛使用的真實(shí)世界數(shù)據(jù)集上，無論是單元時(shí)間序列預(yù)測(cè)還是多元時(shí)間序列預(yù)測(cè)，LiNo 均取得了優(yōu)于現(xiàn)有最先進(jìn)方法的性能，而且展現(xiàn)出優(yōu)異的魯棒性。

LiNO 框架在多變量時(shí)間序列預(yù)測(cè)中表現(xiàn)卓越（如表 1），尤其在 10 個(gè)基準(zhǔn)數(shù)據(jù)集中的 9 個(gè)上實(shí)現(xiàn)了最低的 MSE 和 8 個(gè)上的最低 MAE，顯著超越了包括 iTransformer 在內(nèi)的先前模型。在高維度和復(fù)雜非線性的 PEMS 和 ECL 數(shù)據(jù)集上，LiNO 通過精細(xì)的非線性模式提取，平均 MSE 分別實(shí)現(xiàn)了 11.89% 和 7.87% 的降低。這些結(jié)果突出了 LiNO 在處理復(fù)雜時(shí)間序列數(shù)據(jù)時(shí)的高效能力，無論是在電力、交通還是金融領(lǐng)域，都展現(xiàn)了其在捕捉線性與非線性模式平衡中的重要性。

表 1 多變量時(shí)間序列預(yù)測(cè)

LiNO 框架在單變量時(shí)間序列預(yù)測(cè)任務(wù)中展現(xiàn)了頂尖的性能，根據(jù)表 2 的分析，它在所有 6 個(gè)數(shù)據(jù)集上都取得了最佳的預(yù)測(cè)結(jié)果。與先前的最先進(jìn)方法 MICN 相比，LiNO 在六個(gè)數(shù)據(jù)集上將均方誤差（MSE）降低了 19.37%，平均絕對(duì)誤差（MAE）降低了 10.28%。特別是在 Weather、ETTh2 和 Traffic 數(shù)據(jù)集上，LiNO 分別實(shí)現(xiàn)了 47.11%、28.64% 和 12.97% 的 MSE 降低，這標(biāo)志著預(yù)測(cè)精度的顯著提升。LiNO 在單變量和多變量時(shí)間序列預(yù)測(cè)中的一致優(yōu)越表現(xiàn)證明了它在不同場(chǎng)景下的廣泛適用性。

表 2 單變量時(shí)間序列預(yù)測(cè)

LiNO 框架在單變量時(shí)間序列預(yù)測(cè)領(lǐng)域的表現(xiàn)極為出色，其設(shè)計(jì)基于 iTransformer 這一領(lǐng)先業(yè)界的變換器模型作為基礎(chǔ)架構(gòu)。如表 3 所示，通過與 'Raw'（傳統(tǒng)設(shè)計(jì)）和 'Mu'（N-BEATS 中使用的遞歸表示分裂預(yù)測(cè)設(shè)計(jì)）的比較，LiNO 在 ETTm2、ECL 和 Weather 數(shù)據(jù)集上實(shí)現(xiàn)了 2.96%、6.34% 和 6.72% 的 MSE 降低，這一成就凸顯了其在有效分離和處理線性與非線性模式方面的高效率。此外，LiNO 在面臨不同噪聲水平的挑戰(zhàn)時(shí)，依然展現(xiàn)出了卓越的魯棒性和可靠性，如圖 5 所示，這不僅驗(yàn)證了其設(shè)計(jì)的穩(wěn)健性，也進(jìn)一步證實(shí)了在時(shí)間序列預(yù)測(cè)模型中區(qū)分線性與非線性模式對(duì)于提升預(yù)測(cè)魯棒性的重要性。

表 3 LiNo 框架對(duì) iTransformer Backbone 的預(yù)測(cè)精度提升

Fig 5 LiNo 框架對(duì) iTransformer Backbone 的魯棒性提升

LiNo 框架的提出，不僅推動(dòng)了時(shí)間序列預(yù)測(cè)技術(shù)的發(fā)展，也為設(shè)計(jì)更有效、更魯棒，更具有解釋性的預(yù)測(cè)模型提供了新的思路和工具。