時間序列數(shù)據(jù)具有內(nèi)在的長程和短程依賴性，對分析應(yīng)用提出了獨特的挑戰(zhàn)。雖然基于Transformer的模型擅長捕獲長程依賴關(guān)系，但它們在噪聲靈敏度、計算效率和與較小數(shù)據(jù)集的過度擬合方面存在局限性。

本次的研究人員引入了一種新穎的時間序列輕量級自適應(yīng)網(wǎng)絡(luò)（TSLANet），作為各種時間序列任務(wù)的通用卷積模型。具體來說，利用傅里葉分析來增強特征表示并捕獲長期和短期相互作用，同時通過自適應(yīng)閾值來減輕噪聲。此外還引入了交互式卷積塊，并利用自監(jiān)督學(xué)習(xí)來改進(jìn) TSLANet解碼復(fù)雜時間模式的能力，并提高其在不同數(shù)據(jù)集上的魯棒性。

綜合實驗表明，TSLANet在分類、預(yù)測和異常檢測等各種任務(wù)中優(yōu)于最先進(jìn)的模型，展示了其在各種噪聲水平和數(shù)據(jù)大小下的彈性和適應(yīng)性。

1.TSLNet Block

簡單的說，TSLANet基于Transformer，用于時間序列表示學(xué)習(xí)。專為時間序列分類和預(yù)測任務(wù)而設(shè)計，同時它還結(jié)合傅里葉變換和卷積層，以捕獲時間序列數(shù)據(jù)中的局部和全局模式。

TSLANet的不同之處在于它還包含傅里葉變換和卷積層。傅里葉變換允許模型通過將時間序列數(shù)據(jù)分解為不同的頻率分量來捕獲時間序列數(shù)據(jù)中的全局模式。然后，卷積層專注于從時間序列中提取局部特征。通過結(jié)合這些不同的技術(shù)，模型可以學(xué)習(xí)對下游任務(wù)有用的時間序列的豐富表示。

傅里葉變換層將一維傅里葉變換應(yīng)用于輸入時間序列，以將其分解為其頻率分量。這允許模型捕獲數(shù)據(jù)中的全局模式。這個過程會進(jìn)行噪聲過濾，處理完畢之后，會通過逆FFT變換重構(gòu)數(shù)據(jù)。Transformer編碼器層接受傅里葉變換層的輸出，該一層主要使用自注意力機制來學(xué)習(xí)。卷積層則是將一維卷積層應(yīng)用于Transformer的輸出，以從時間序列中提取局部特征。最后是前饋網(wǎng)絡(luò)層，卷積特征通過完全連接的前饋網(wǎng)絡(luò)，以產(chǎn)生最終的時間序列表示。

2.性能效果

作者證明了 TSLANet 在多個時間序列分類和預(yù)測基準(zhǔn)上的有效性，包括 TDASNet、TBSN 和端到端自調(diào)諧數(shù)據(jù)集。它們表明，TSLANet在這些基準(zhǔn)測試中還是有一定的優(yōu)勢，突出了其混合架構(gòu)的優(yōu)勢。

上圖為在不同數(shù)據(jù)集上面的分類結(jié)果

上圖為多變量的預(yù)測，預(yù)測長度 ∈ {96, 192, 336, 720}.將結(jié)果取平均值。

上圖為異常任務(wù)檢測的結(jié)果。

本文轉(zhuǎn)載自 ??魯班模錘??，作者： 龐德公