今天給大家介紹一篇AAAI 2024中，由新加坡科技研究局（A*STAR）和新加坡南洋理工大學(xué)聯(lián)合發(fā)表的時(shí)間序列分類工作，通過圖感知對比學(xué)習(xí)改善多變量時(shí)間序列分類，取得了非常顯著的效果提升。

圖片

論文標(biāo)題：Graph-Aware Contrasting for Multivariate Time-Series Classification

下載地址：https://arxiv.org/pdf/2309.05202.pdf

開源代碼：https://github.com/Frank-Wang-oss/TS-GAC

1、整體介紹

針對現(xiàn)有對比學(xué)習(xí)方法主要關(guān)注時(shí)間一致性而忽略MTS數(shù)據(jù)中多傳感器的空間一致性，作者提出了圖感知對比。具體來說，TS-GAC包括了針對多變量時(shí)間序列的圖增強(qiáng)以及圖對比。其中圖增強(qiáng)包括了節(jié)點(diǎn)和連邊增強(qiáng)，以通過保持傳感器穩(wěn)定性及其相關(guān)性來增強(qiáng)空間一致性。此外，引入了多窗口時(shí)間對比來保持時(shí)間一致性。通過廣泛的實(shí)驗(yàn)驗(yàn)證，該方法在各種MTS分類任務(wù)上取得了最優(yōu)性能。文章強(qiáng)調(diào)了在MTS數(shù)據(jù)的對比學(xué)習(xí)中考慮空間一致性的重要性，并提供了一個全面的解決方案，顯著改善了分類性能。

圖片

2、模型結(jié)構(gòu)

本文提出的方法主要包括圖增強(qiáng)和圖對比兩個部分。

圖增強(qiáng)：為了有效地增強(qiáng)MTS數(shù)據(jù)，生成弱視圖和強(qiáng)視圖，引入了節(jié)點(diǎn)和連邊的增強(qiáng)。節(jié)點(diǎn)增強(qiáng)包括頻域以及時(shí)域增強(qiáng)，旨在充分增強(qiáng)圖節(jié)點(diǎn)。首先應(yīng)用了對于節(jié)點(diǎn)的頻域增強(qiáng)，然后通過考慮MTS數(shù)據(jù)中的動態(tài)局部模式，將增強(qiáng)后的樣本分割成多個窗口如圖2所示。在每個窗口內(nèi)使用節(jié)點(diǎn)時(shí)間增強(qiáng)后，通過一維卷積神經(jīng)網(wǎng)絡(luò)來對窗口進(jìn)行特征提取。隨后對每一個窗口構(gòu)建圖并通過連邊增強(qiáng)進(jìn)一步增強(qiáng)圖，然后用基于圖神經(jīng)網(wǎng)絡(luò)的編碼器處理并學(xué)習(xí)特征。

圖片

圖對比：包括節(jié)點(diǎn)級對比和圖級對比，以實(shí)現(xiàn)空間一致性。節(jié)點(diǎn)級對比通過在不同視圖中將相應(yīng)的傳感器拉近、將不同視圖中的不同傳感器推遠(yuǎn)，確保節(jié)點(diǎn)特征的魯棒性。圖級對比則進(jìn)一步確保全局特征的魯棒性，通過對比不同視圖中的樣本來實(shí)現(xiàn)。

該架構(gòu)的目標(biāo)是在對比學(xué)習(xí)中實(shí)現(xiàn)空間一致性，針對MTS分類提供了特定的增強(qiáng)和對比技術(shù)。通過首先應(yīng)用節(jié)點(diǎn)增強(qiáng)，然后利用節(jié)點(diǎn)內(nèi)的時(shí)間增強(qiáng)，以及最終通過GNN處理的邊緣增強(qiáng)，該方法能夠?yàn)槊總€樣本生成具有不同空間和時(shí)間特性的弱視圖和強(qiáng)視圖。這種方法的創(chuàng)新之處在于，它不僅考慮了時(shí)間一致性，還通過圖結(jié)構(gòu)增強(qiáng)了空間一致性，為MTS數(shù)據(jù)的深入分析和處理提供了新的視角。

3、圖增強(qiáng)模塊

針對MTS數(shù)據(jù)的特性，即作為由多個傳感器收集的數(shù)據(jù)，作者提出了節(jié)點(diǎn)和連邊增強(qiáng)兩種主要方法：

節(jié)點(diǎn)增強(qiáng)：分為頻域增強(qiáng)和時(shí)域增強(qiáng)。頻域增強(qiáng)通過將每個傳感器的信號轉(zhuǎn)換到頻域，并對提取的頻率特征進(jìn)行增強(qiáng)，然后將增強(qiáng)的頻率特征轉(zhuǎn)換回時(shí)間域以獲得增強(qiáng)信號。具體采用了離散小波變換，通過高通和低通濾波器分解信號，以表示信號內(nèi)的宏觀趨勢和微觀趨勢。時(shí)域增強(qiáng)則是考慮到MTS數(shù)據(jù)的動態(tài)特性，通過將每個MTS樣本分割成多個窗口，并在每個窗口內(nèi)進(jìn)行時(shí)域增強(qiáng)。

連邊增強(qiáng)：旨在增強(qiáng)傳感器間的相關(guān)性，即構(gòu)建的圖中的邊。首先通過圖構(gòu)建過程來定義節(jié)點(diǎn)（傳感器）和邊（傳感器間的相關(guān)性）。然后，通過連邊增強(qiáng)方法有效地增強(qiáng)傳感器間的相關(guān)性。在這一步驟中，考慮到強(qiáng)相關(guān)性比弱相關(guān)性在GNN的特征傳播中更為重要，因此在進(jìn)行邊緣增強(qiáng)時(shí)，保留了最強(qiáng)的s個相關(guān)性以保證拓?fù)湫畔⒌姆€(wěn)定，并將其余的相關(guān)性用隨機(jī)值替換來增強(qiáng)連邊。

通過這些增強(qiáng)策略，作者旨在生成弱視圖和強(qiáng)視圖，以便后續(xù)的對比學(xué)習(xí)過程能夠?qū)W習(xí)到魯棒的傳感器特征和傳感器間關(guān)系。這些增強(qiáng)策略的設(shè)計(jì)考慮到了MTS數(shù)據(jù)的多源性和動態(tài)性，通過提供不同角度的數(shù)據(jù)視圖，增強(qiáng)了CL的能力，從而可以學(xué)習(xí)到更魯棒和泛化的表示。

4、圖對比模塊

文中提出了圖感知對比方法，該方法特別設(shè)計(jì)了節(jié)點(diǎn)和邊緣增強(qiáng)以及圖對比策略，以增強(qiáng)MTS數(shù)據(jù)的空間一致性。主要包括多窗口時(shí)間對比、節(jié)點(diǎn)級對比、圖級對比3個級別的對比方式。

多窗口時(shí)間對比（Multi-Window Temporal Contrasting, MWTC）：這一方法在傳感器級別上保證每個傳感器的時(shí)間一致性，通過預(yù)測編碼來維持MTS數(shù)據(jù)內(nèi)時(shí)間依賴性的魯棒性。MWTC通過總結(jié)一個視圖中的過去窗口信息，與另一視圖的未來窗口進(jìn)行對比，以此來保持時(shí)間模式的魯棒性。

節(jié)點(diǎn)級對比（Node-level Contrasting, NC）：NC通過在每個MTS樣本內(nèi)不同視圖中的傳感器進(jìn)行對比，學(xué)習(xí)魯棒的傳感器級特征。這包括最大化兩個視圖中對應(yīng)傳感器之間的相似性，同時(shí)最小化那些視圖中不同傳感器之間的相似性。

圖級對比（Graph-level Contrasting, GC）：GC通過在每個訓(xùn)練批次內(nèi)對樣本進(jìn)行對比，促進(jìn)魯棒的全局級特征學(xué)習(xí)。這一策略通過最大化兩個視圖中對應(yīng)樣本之間的相似性，同時(shí)最小化那些視圖中不同樣本之間的相似性來實(shí)現(xiàn)。

這些對比學(xué)習(xí)策略共同工作，旨在通過圖結(jié)構(gòu)增強(qiáng)MTS數(shù)據(jù)的表示學(xué)習(xí)，進(jìn)而提高分類準(zhǔn)確性。文章還強(qiáng)調(diào)了時(shí)間對比對于保持每個傳感器時(shí)間一致性的重要性，以及圖對比在學(xué)習(xí)傳感器和全局級魯棒特征中的作用。通過結(jié)合節(jié)點(diǎn)級和圖級對比，該方法能夠有效地學(xué)習(xí)MTS數(shù)據(jù)中的復(fù)雜空間和時(shí)間模式，實(shí)現(xiàn)對MTS分類性能的顯著提升。

5、實(shí)驗(yàn)效果

在實(shí)驗(yàn)部分，文中對比了在十個公開的多變量時(shí)間序列數(shù)據(jù)集上的性能表現(xiàn)，并與現(xiàn)有的最先進(jìn)方法進(jìn)行了比較。這些數(shù)據(jù)集包括人類活動識別（HAR）、ISRUC睡眠階段分類，以及UEA數(shù)據(jù)集中的子數(shù)據(jù)集，如手指運(yùn)動、口語阿拉伯?dāng)?shù)字等。為了公平對比，所有方法都使用了相同的編碼器。實(shí)驗(yàn)結(jié)果顯示，TS-GAC在其中八個數(shù)據(jù)集上取得了最佳性能，特別是在HAR和ISRUC數(shù)據(jù)集上，相較于其他方法，準(zhǔn)確率分別提高了1.44%和3.13%。

圖片

同時(shí)，作者還對模型特征進(jìn)行了可視化，可視化結(jié)果實(shí)現(xiàn)了TS-GAC可以提取更有辨識度的傳感器級特征。同時(shí)，相對于其他方法，TS-GAC可以對不同視角的數(shù)據(jù)得到更加一致的傳感器級特征。

圖片

作者還進(jìn)行了消融研究，以評估設(shè)計(jì)的增強(qiáng)和對比技術(shù)對模型性能的影響。消融研究測試了不同變體，包括去除節(jié)點(diǎn)增強(qiáng)、去除邊緣增強(qiáng)、去除圖級對比、去除節(jié)點(diǎn)級對比、去除多窗口時(shí)間對比的變體。結(jié)果表明，圖增強(qiáng)和圖對比技術(shù)在提高M(jìn)TS數(shù)據(jù)的空間一致性方面極為有效，完全的TS-GAC相較于任何一種減少對比損失的變體都表現(xiàn)出了更好的性能。

圖片

此外，作者還對模型的敏感性進(jìn)行了分析，包括超參數(shù)（如λMWTC、λGC、λNC）的影響和保留邊緣數(shù)量的影響。這些分析進(jìn)一步證實(shí)了所提出方法的有效性和健壯性。

整體而言，實(shí)驗(yàn)結(jié)果強(qiáng)調(diào)了TS-GAC在多個MTS分類任務(wù)上達(dá)到最優(yōu)性能的能力，證明了提出的圖增強(qiáng)和圖對比技術(shù)在提高模型對MTS數(shù)據(jù)的空間一致性方面的重要性和有效性。