1 模型創(chuàng)新點(diǎn)介紹

1.1 時(shí)間編碼

輸入信息編碼參考 Informer 論文，我們把源碼和數(shù)據(jù)集制作進(jìn)行了優(yōu)化，方便任何帶有時(shí)間特征列的數(shù)據(jù)集進(jìn)行輸入信息的編碼。

Informer在原始向量上不止增加了Transformer架構(gòu)必備的PositionEmbedding（位置編碼）還增加了與時(shí)間相關(guān)的各種編碼：

• 日周期編碼：表示一天中的時(shí)間點(diǎn)。
• 周周期編碼：表示一周中的時(shí)間點(diǎn)。
• 月周期編碼：表示一個(gè)月中的時(shí)間點(diǎn)。

在時(shí)間序列預(yù)測任務(wù)中，不同時(shí)間節(jié)點(diǎn)可能蘊(yùn)藏著重要信息，例如分層時(shí)間戳（周、月和年）和不可知時(shí)間戳（假期、事件）。

具體在這里增加什么樣的GlobalTimeStamp還需要根據(jù)實(shí)際問題來確認(rèn)，如果計(jì)算高鐵動(dòng)車車站的人流量，顯然“假期”的時(shí)間差就是十分重要的。如果計(jì)算公交地鐵等通勤交通工具的人流量，顯然“星期”可以更多的揭示是否為工作日。

大家根據(jù)自己數(shù)據(jù)集的時(shí)間分辨率可靈活調(diào)整！

1.2 基于GlobalAttention優(yōu)化的LSTM網(wǎng)絡(luò)

把基于注意力機(jī)制的循環(huán)網(wǎng)絡(luò)改進(jìn)優(yōu)化為基于全局注意力機(jī)制LSTM神經(jīng)網(wǎng)絡(luò):

2 模型整體結(jié)構(gòu)

模型整體結(jié)構(gòu)如下所示，多特征變量時(shí)間序列數(shù)據(jù)先經(jīng)過輸入信息編碼：

TokenEmbedding -時(shí)序數(shù)據(jù)編碼
 PositionalEmbedding-位置編碼
 TemporalEmbedding-時(shí)間編碼

通過這三種數(shù)據(jù)編碼方式的結(jié)合使用，可以更好地捕獲輸入數(shù)據(jù)的語義、位置和時(shí)間特征，增強(qiáng)模型對時(shí)間序列數(shù)據(jù)的理解和預(yù)測能力。

編碼后的數(shù)據(jù)通過基于GlobalAttention優(yōu)化的LSTM網(wǎng)絡(luò)提取全局時(shí)序特征，GlobalAttention是一種用于加強(qiáng)模型對輸入序列不同部分的關(guān)注程度的機(jī)制。在 LSTM 模型中，全局注意力機(jī)制可以幫助模型更好地聚焦于輸入序列中最相關(guān)的部分，從而提高模型的性能和泛化能力。在每個(gè)時(shí)間步，全局注意力機(jī)制計(jì)算一個(gè)權(quán)重向量，表示模型對輸入序列各個(gè)部分的關(guān)注程度，然后將這些權(quán)重應(yīng)用于 LSTM 輸出的特征表示，通過對所有位置的特征進(jìn)行加權(quán)，使模型能夠更有針對性地關(guān)注重要的時(shí)域特征, 提高了模型對多特征序列時(shí)域特征的感知能力。

我們對模型起名為：

Global Attention Temporal LSTM -(GATLSTM)

3 電力變壓器數(shù)據(jù)集預(yù)處理

電力變壓器數(shù)據(jù)集的詳細(xì)介紹可以參考下文：

??電力變壓器數(shù)據(jù)集介紹和預(yù)處理??

3.1 導(dǎo)入數(shù)據(jù)

3.2 數(shù)據(jù)集制作與預(yù)處理

詳細(xì)介紹見提供的文檔！

4 基于 GATLSTM 的預(yù)測模型

4.1 定義 GATLSTM 預(yù)測網(wǎng)絡(luò)模型

4.2 設(shè)置參數(shù)，訓(xùn)練模型

50個(gè)epoch，MSE 為0.0198，GATLSTM預(yù)測效果顯著，模型能夠充分提取時(shí)間序列的全局上下文信息，收斂速度快，性能優(yōu)越，預(yù)測精度高，適當(dāng)調(diào)整模型參數(shù)，還可以進(jìn)一步提高模型預(yù)測表現(xiàn)。

5 結(jié)果可視化和模型評估

5.1 預(yù)測結(jié)果可視化

5.2 模型評估

本文轉(zhuǎn)載自??建模先鋒??，作者： 小蝸愛建模 ????