最近，香港科技大學、上海AI Lab等多個組織聯(lián)合發(fā)布了一篇時間序列無監(jiān)督預(yù)訓(xùn)練的文章，相比原來的TS2Vec等時間序列表示學習工作，核心在于提出了將空間信息融入到預(yù)訓(xùn)練階段，即在預(yù)訓(xùn)練階段考慮各個序列之間的關(guān)系。因此，本文提出的方法也更適合作為時空預(yù)測領(lǐng)域的預(yù)訓(xùn)練模型。下面為大家詳細介紹一下這篇文章。

論文標題：Correlated Time Series Self-Supervised Representation Learning via Spatiotemporal Bootstrapping

下載地址：https://arxiv.org/abs/2306.06994

1、背景

在過去的工作中，有很多對時間序列無監(jiān)督預(yù)訓(xùn)練的研究，一般使用對比學習的思路進行時間序列Encoder的自監(jiān)督訓(xùn)練。然而，歷史的工作存在3個弊端。

第一個是大多數(shù)過去的方法學習的都是序列整體的表示，而時間序列預(yù)測任務(wù)更關(guān)注每個時間步的表示，因此上下游任務(wù)存在一定的不適配問題。

第二個是過去的工作都是在單個時間序列本身上進行預(yù)訓(xùn)練，沒有考慮到各個序列之間的關(guān)系。

第三點是以往的對比學習預(yù)訓(xùn)練方法，在構(gòu)造負樣本的過程中經(jīng)常出現(xiàn)偽負樣本問題（即構(gòu)造的負樣本其實應(yīng)該是正樣本），這導(dǎo)致了對模型效果的負向影響。

針對上述3個問題，本文提出了一系列解決方法，核心是在預(yù)訓(xùn)練階段同時考慮時序關(guān)系和空間關(guān)系，并且將對比學習框架改為不依賴正樣本的BYOL。

圖片

2、模型細節(jié)

本文提出的模型核心結(jié)構(gòu)如下圖所示，其核心一方面是將時空信息融合到對比學習中的方式，另一方面是對比學習框架的升級。

對于一個時間序列，需要在時間維度和空間維度都進行對比學習，將時空信息同時融合到預(yù)訓(xùn)練階段。對于時間維度，文中利用滑動窗口的方式，對一個序列生成兩個有overlap的子序列，其中一個作為View，另一個作為時間維度的Target。其中，View部分使用隨機mask的方式，遮蓋一部分時間步的樣本點。在時間維度的對比學習，即利用View和Temporal Target之間進行對比學習。

在空間維度上，根據(jù)節(jié)點之間的拓撲關(guān)系，隨機采樣一個當前序列的鄰居序列，同樣使用滑動窗口生產(chǎn)成本一個子序列。這個序列作為View的空間維度Target，使用對比學習拉近View和Spatial Target之間的距離。

在得到上述兩類樣本后，文中采用了BYOL的對比學習框架，避免了對負樣本進行構(gòu)造，因此解決了偽負樣本的問題。BYOL是一種只依賴正樣本的對比學習框架，其原始論文中的具體做法為，使用兩個模型結(jié)構(gòu)完全相同但參數(shù)不同的online network和target network，其中target network的參數(shù)是online network參數(shù)的滑動平均，target network的輸出表示是online network的預(yù)測目標，target部分不會根據(jù)loss更新其參數(shù)。也就是用兩套參數(shù)實現(xiàn)正樣本1對正樣本2的預(yù)測。

圖片

在本文中也是類似的方式，利用被部分mask的View，同時預(yù)測Temporal Target和Spatial Target，模型的loss包含Temporal和Spatial兩部分相應(yīng)的對比學習loss。模型的具體結(jié)構(gòu)采用了TCN的結(jié)構(gòu)（主體為空洞卷積），且View的模型參數(shù)和Target的模型參數(shù)不共享。

3、實驗效果

下面為本文提出的表示學習方法在時空預(yù)測數(shù)據(jù)集上的預(yù)測效果，可以看到相比TS2Vec（目前SOTA的時間序列表示學習方法），有比較明顯的效果提升。這說明本文提出的引入空間信息的對比學習，對于時空預(yù)測類型的問題效果更好。

圖片

下圖為預(yù)測case分析，本文提出的方法相比TS2VecUI有更好的預(yù)測趨勢。

圖片