前言

本文基于前期介紹的電力變壓器，介紹一種基于TCN-SENet  +BiGRU-GlobalAttention并行預(yù)測(cè)模型，以提高時(shí)間序列數(shù)據(jù)的預(yù)測(cè)性能。電力變壓器數(shù)據(jù)集的詳細(xì)介紹可以參考下文：

1 模型整體結(jié)構(gòu)

模型整體結(jié)構(gòu)如下所示:

分支一：通過(guò)基于通道注意力機(jī)制(SENet)的TCN模型網(wǎng)絡(luò)，來(lái)自適應(yīng)地調(diào)整通道特征的權(quán)重，使模型能夠自動(dòng)學(xué)習(xí)到不同通道的重要性，提取了多特征序列中與預(yù)測(cè)目標(biāo)相關(guān)的重要空間特征；

分支二：多特征序列數(shù)據(jù)同時(shí)通過(guò)基于GlobalAttention優(yōu)化的BiGRU網(wǎng)絡(luò),GlobalAttention是一種用于加強(qiáng)模型對(duì)輸入序列不同部分的關(guān)注程度的機(jī)制。在 BiGRU 模型中，全局注意力機(jī)制可以幫助模型更好地聚焦于輸入序列中最相關(guān)的部分，從而提高模型的性能和泛化能力。在每個(gè)時(shí)間步，全局注意力機(jī)制計(jì)算一個(gè)權(quán)重向量，表示模型對(duì)輸入序列各個(gè)部分的關(guān)注程度，然后將這些權(quán)重應(yīng)用于 BiGRU 輸出的特征表示，通過(guò)對(duì)所有位置的特征進(jìn)行加權(quán)，使模型能夠更有針對(duì)性地關(guān)注重要的時(shí)域特征, 提高了模型對(duì)多特征序列時(shí)域特征的感知能力；

特征融合：然后兩個(gè)分支提取的空間特征和全局時(shí)域特征通過(guò)堆疊融合，使模型能夠更好地融合不同層次的特征表示，提高模型性能和泛化能力。

通道注意力機(jī)制Squeeze-and-Excitation Networks

全局注意力機(jī)制：Global Attention Mechanism

2 多特征變量數(shù)據(jù)集制作與預(yù)處理

2.1 導(dǎo)入數(shù)據(jù)

2.2 制作數(shù)據(jù)集

制作數(shù)據(jù)集與分類標(biāo)簽

3 基于TCN-SENet  +BiGRU-GlobalAttention并行的高精度預(yù)測(cè)模型

3.1 定義網(wǎng)絡(luò)模型

注意：輸入數(shù)據(jù)形狀為 [64, 7, 7]， batch_size=32，7代表序列長(zhǎng)度（滑動(dòng)窗口取值）,  維度7維代表7個(gè)變量的維度。

3.2 設(shè)置參數(shù)，訓(xùn)練模型

50個(gè)epoch，訓(xùn)練誤差極小，多變量特征序列TCN-SENet  +BiGRU-GlobalAttention并行融合網(wǎng)絡(luò)模型預(yù)測(cè)效果顯著，模型能夠充分提取時(shí)間序列的空間特征和時(shí)序特征，收斂速度快，性能優(yōu)越，預(yù)測(cè)精度高，能夠從序列時(shí)空特征中提取出對(duì)模型預(yù)測(cè)重要的特征，效果明顯！

注意調(diào)整參數(shù)：

• 可以適當(dāng)增加TCN層數(shù)和隱藏層的維度，微調(diào)學(xué)習(xí)率；
• 調(diào)整BiGRU層數(shù)和每層神經(jīng)元個(gè)數(shù)，增加更多的 epoch （注意防止過(guò)擬合）
• 可以改變滑動(dòng)窗口長(zhǎng)度（設(shè)置合適的窗口長(zhǎng)度）

4 模型評(píng)估與可視化

4.1 結(jié)果可視化

4.2 模型評(píng)估

4.3 特征可視化

本文轉(zhuǎn)載自??建模先鋒??，作者： 小蝸愛(ài)建模 ????