今天給大家介紹一篇最新的大模型+時(shí)間序列預(yù)測(cè)工作，由康涅狄格大學(xué)發(fā)表，提出了一種將時(shí)間序列在隱空間和NLP大模型對(duì)齊，并利用隱空間prompt提升時(shí)間序列預(yù)測(cè)效果的方法。

論文標(biāo)題：S2IP-LLM: Semantic Space Informed Prompt Learning with LLM for Time Series Forecasting

下載地址：https://arxiv.org/pdf/2403.05798v1.pdf

1、問(wèn)題背景

大模型在時(shí)間序列上的應(yīng)用越來(lái)越多，主要分為兩類：第一類使用各類時(shí)間序列數(shù)據(jù)訓(xùn)練一個(gè)時(shí)間序列領(lǐng)域自己的大模型；第二類直接使用NLP領(lǐng)域訓(xùn)練好的文本大模型應(yīng)用到時(shí)間序列中。由于時(shí)間序列不同于圖像、文本，不同數(shù)據(jù)集的輸入格式不同、分布不同，且存在distribution shift等問(wèn)題，導(dǎo)致使用所有時(shí)間序列數(shù)據(jù)訓(xùn)練統(tǒng)一的模型比較困難。因此，越來(lái)越多的工作開始嘗試如何直接使用NLP大模型解決時(shí)間序列相關(guān)問(wèn)題。

本文的聚焦點(diǎn)也在第二種方法，即使用NLP大模型解決時(shí)間序列問(wèn)題。現(xiàn)有的方法很多采用對(duì)時(shí)間序列的描述作為prompt，但是這種信息并不是所有時(shí)間序列數(shù)據(jù)集都有。并且現(xiàn)有的基于patch的時(shí)間序列數(shù)據(jù)處理方法，也無(wú)法完全保存時(shí)間序列數(shù)據(jù)本身的所有信息。

基于上述問(wèn)題，這篇文章提出了一種新的建模方法，核心建模思路，一方面將時(shí)間序列通過(guò)tokenize處理后映射成embedding，另一方面將這些時(shí)間序列空間的表征對(duì)齊到大模型中的word embedding上。通過(guò)這種方式，讓時(shí)間序列的預(yù)測(cè)過(guò)程中，可以找到對(duì)齊的word embedding相關(guān)的信息作為prompt，提升預(yù)測(cè)效果。

圖片

2、實(shí)現(xiàn)方法

下面從數(shù)據(jù)處理、隱空間對(duì)齊、模型細(xì)節(jié)等3個(gè)方面介紹一下這篇工作的實(shí)現(xiàn)方法。

數(shù)據(jù)處理：由于時(shí)間序列的distribution shift等問(wèn)題，本文對(duì)輸入序列做了一步趨勢(shì)項(xiàng)季節(jié)項(xiàng)分解。每個(gè)分解后的時(shí)間序列，都單獨(dú)做標(biāo)準(zhǔn)化，然后分割成有重疊的patch。每一組patch對(duì)應(yīng)趨勢(shì)項(xiàng)patch、季節(jié)項(xiàng)patch、殘差patch，將這3組patch拼接到一起，輸入到MLP中，得到每組patch的基礎(chǔ)embedding表征。

隱空間對(duì)齊：這是本文中最核心的一步。Prompt的設(shè)計(jì)對(duì)大模型的效果影響很大，而時(shí)間序列的prompt又難以設(shè)計(jì)。因此本文提出，將時(shí)間序列的patch表征和大模型的word embedding在隱空間對(duì)齊，然后檢索出topK的word embedding，作為隱式的prompt。具體做法為，使用上一步生成的patch embedding，和語(yǔ)言模型中的word embedding計(jì)算余弦相似度，選擇topK的word embedding，再將這些word embedding作為prompt，拼接到時(shí)間序列patch embedding的前方。由于大模型word embedding大多，為了減少計(jì)算量，先對(duì)word embedding做了一步映射，映射到數(shù)量很少的聚類中心上。

模型細(xì)節(jié)：在模型細(xì)節(jié)上，使用GPT2作為語(yǔ)言模型部分，除了position embedding和layer normalization部分的參數(shù)外，其余的都凍結(jié)住。優(yōu)化目標(biāo)除了MSE外，還引入patch embedding和檢索出的topK cluster embedding的相似度作為約束，要求二者之間的距離越小越好。最終的預(yù)測(cè)結(jié)果，也是

圖片

3、實(shí)驗(yàn)效果

文中對(duì)比了和一些時(shí)間序列大模型、iTransformer、PatchTST等SOTA模型的效果，在大部分?jǐn)?shù)據(jù)集的不同時(shí)間窗口的預(yù)測(cè)中都取得了比較好的效果提升。

圖片

同時(shí)，文中也通過(guò)t-SNE可視化分析了embedding，從圖中可以看出，時(shí)間序列的embedding在對(duì)齊之前并沒(méi)有明顯的類簇現(xiàn)象，而通過(guò)prompt生成的embedding有明顯的類簇變化，說(shuō)明本文提出的方法有效的利用文本和時(shí)間序列的空間對(duì)齊，以及相應(yīng)的prompt，提升時(shí)間序列表征的質(zhì)量。

圖片