今天給大家介紹一篇清華大學(xué)發(fā)表于NIPS2024中的大模型時間序列預(yù)測工作AutoTimes，使用大模型進(jìn)行自回歸形式的時間序列預(yù)測，并結(jié)合In-Context Learning提升預(yù)測效果。

論文標(biāo)題：AutoTimes: Autoregressive Time Series Forecasters via Large Language Models

下載地址：??https://arxiv.org/pdf/2402.02370??

1.背景

大模型在時間序列預(yù)測中的應(yīng)用已經(jīng)有了一些研究工作。之前的大模型時序預(yù)測，主要講大模型當(dāng)成一個表征抽取器，將時間序列對齊大模型表征空間后輸入LLM，生成的編碼經(jīng)過映射得到預(yù)測結(jié)果。

然而，本文認(rèn)為這種建模方法沒有充分利用大模型自回歸的能力。因此，本文提出采用自回歸的方式將大模型應(yīng)用到時間序列預(yù)測中。并結(jié)合NLP中的prompt、in-context learning等技術(shù)，提升大模型時序預(yù)測的效果。

2.實現(xiàn)方法

本文的建模方法主要可以分為時序信息處理、大模型預(yù)測、時序in-context learning三個部分。整體的建模流程圖圖所示。

時序信息處理：LLM輸入時間序列編碼和位置編碼兩種類型的信息。對于時間序列，將其分解成多個不重疊的segment，每個segment通過一個Embedding層映射成一個token embedding。對于每個時間步的具體信息，取每個片段最后一個時間戳的文本信息，直接用其對應(yīng)的LLM文本編碼作為position embedding。每個片段的序列編碼和位置編碼拼接到一起，作為LLM的輸入。

大模型預(yù)測：AutoTime整體建模采用自回歸的方式。時間序列信息輸入到LLM后，LLM參數(shù)固定不變，生成segment對應(yīng)的編碼。然后使用一層網(wǎng)絡(luò)，將每個segment的編碼映射成時間序列值，使用MSE計算loss進(jìn)行模型優(yōu)化。訓(xùn)練任務(wù)采用next item prediction的形式，循環(huán)的根據(jù)前面的時序token預(yù)測下一個時序token，和LLM的優(yōu)化方式對齊。

時序In-context Learning：借鑒NLP中的In-context Learning思路，文中在進(jìn)行目標(biāo)數(shù)據(jù)集的預(yù)測時，利用源數(shù)據(jù)集中的時間序列構(gòu)建prompt，拼接到當(dāng)前待預(yù)測的數(shù)據(jù)中。通過在源數(shù)據(jù)集中，抽取幾對歷史序列+未來序列數(shù)據(jù)，轉(zhuǎn)換成token embedding后，拼接到當(dāng)前樣本前面，作為context信息，幫助大模型對當(dāng)前樣本的預(yù)測。

3.實驗效果

文中在短周期時序預(yù)測、長周期時序預(yù)測等任務(wù)上都進(jìn)行了實驗，取得了大模型時序預(yù)測方法中的最優(yōu)效果，相比傳統(tǒng)的PatchTST等建模方法也有優(yōu)勢。

文中也進(jìn)一步驗證了In-context Learning的效果。相比Zero-shot Learning，In-context Learning在引入例子作為prompt信息后，使得模型的預(yù)測效果取得了進(jìn)一步提升。

通過case分析也可以看出，In-context Learning的預(yù)測結(jié)果更加準(zhǔn)確。

本文轉(zhuǎn)載自??圓圓的算法筆記??，作者：Fareise ????