今天給大家介紹一篇WWW 2024中，由于新嘉博國立大學(xué)和香港科技大學(xué)聯(lián)合發(fā)表的多模態(tài)時(shí)間序列預(yù)測模型UniTime，通過文本信息實(shí)現(xiàn)統(tǒng)一跨域時(shí)間序列預(yù)測。

論文標(biāo)題：UniTime: A Language-Empowered Unified Model for Cross-Domain Time Series Forecasting

下載地址：??https://arxiv.org/pdf/2310.09751v1.pdf??

1、背景

在很多時(shí)間序列預(yù)測場景中，會(huì)涉及到跨域?qū)W習(xí)，即有多個(gè)領(lǐng)域的時(shí)間序列數(shù)據(jù)，不同領(lǐng)域的數(shù)據(jù)分布、特征都可能不同，需要對(duì)這些領(lǐng)域都進(jìn)行預(yù)測。解決這種問題的一個(gè)基礎(chǔ)方法為，為每個(gè)domain獨(dú)立訓(xùn)練一個(gè)模型。這種方法的問題在于資源占用多，無法共享不同domain時(shí)間序列數(shù)據(jù)的信息。

Cross Domain相關(guān)的方法研究如何將多個(gè)不同domain的數(shù)據(jù)聯(lián)合到一起訓(xùn)練一個(gè)模型。這其中需要面臨的問題包括，如何讓模型兼容不同類型的數(shù)據(jù)、如何有效區(qū)分不同domain的數(shù)據(jù)等問題。本文就建立在這個(gè)問題之上，希望建立一個(gè)能夠聯(lián)合訓(xùn)練不同domain時(shí)間序列數(shù)據(jù)的統(tǒng)一時(shí)間序列模型。

2、實(shí)現(xiàn)方法

針對(duì)上述問題，本文提出了一種使用文本信息增強(qiáng)時(shí)間序列cross domain學(xué)習(xí)能力的方法。

首先，整體的模型結(jié)構(gòu)采用了Patch+Linear的基礎(chǔ)方式，對(duì)于每個(gè)時(shí)間序列，使用patch的方式將序列轉(zhuǎn)換為token embedding。由于不同domain的學(xué)習(xí)速率不同，為了防止那些學(xué)習(xí)快的domain出現(xiàn)過擬合，文中采用了一種mask的思路，將時(shí)間序列隨機(jī)mask掉一部分點(diǎn)，讓模型不能只根據(jù)domain數(shù)據(jù)自身的特征進(jìn)行簡單預(yù)測導(dǎo)致過擬合。這一步的輸出為mask標(biāo)記和被mask序列的Gate融合結(jié)果。

接下來，文中引入了文本信息輔助跨域?qū)W習(xí)。對(duì)于每個(gè)domain的數(shù)據(jù)，使用一個(gè)文本描述，輸入到Transfomer中生成表征，描述這個(gè)domain的樣本，以此作為一個(gè)domain的標(biāo)識(shí)信息。這部分信息和時(shí)間序列本身的輸出結(jié)果拼接到一起后，整體再過一個(gè)Transfomer融合文本和時(shí)序的信息。

最后，上述Transformer結(jié)果會(huì)輸入到Decoder中，為了適配不同domain的序列長度可能不同的問題，使用一個(gè)可學(xué)習(xí)的padding向量對(duì)Encoder的輸出結(jié)果進(jìn)行補(bǔ)全。補(bǔ)全結(jié)果輸入到Transformer Decoder中得到最終預(yù)測結(jié)果。

3、實(shí)驗(yàn)效果

在實(shí)驗(yàn)中，文中對(duì)比了多個(gè)數(shù)據(jù)集中，不同預(yù)測窗口的預(yù)測效果。對(duì)比的模型包括在所有數(shù)據(jù)集上聯(lián)合訓(xùn)練的方法，也包括在單獨(dú)數(shù)據(jù)集上訓(xùn)練的方法?？梢钥吹?，UniTime在多個(gè)數(shù)據(jù)集的不同配置上都取得了比較明顯的效果提升。

同時(shí)，通過下圖可以看出，通過引入instruction，可以讓各個(gè)domain數(shù)據(jù)的表征學(xué)習(xí)的更加合理，各個(gè)domain在表征空間區(qū)分的更分散。

本文轉(zhuǎn)載自 ??圓圓的算法筆記??，作者： Fareise