近期，加利福尼亞大學發(fā)表了一篇時間序列大語言模型工作綜述，這篇文章主要介紹的是將NLP領域預訓練好的大語言模型應用到時間序列預測領域的方法總結，總結了5種類型NLP大模型應用于時間序列領域的方法。下面給大家介紹一下這篇總結的5種方法。

圖片

論文標題：Large Language Models for Time Series: A Survey

下載地址：https://arxiv.org/pdf/2402.01801.pdf

圖片

1、基于Prompt的方法

這種直接利用prompt的方式讓模型針對時間序列數(shù)據(jù)輸出結果，文中列舉了一些之前的prompt方法，基本思路就是預訓練定義一個prompt文本，把時間序列數(shù)據(jù)填充進來，讓模型直接生成預測結果。例如下面的例子中，構造了一段文本，描述這個時間序列的具體任務，然后將時間序列的數(shù)據(jù)填充到文本中，讓模型生成時間序列的預測結果。

圖片

這種方式將時間序列的數(shù)字直接視為文本的一部分，涉及到數(shù)字的tokenize問題，一些工作針對數(shù)字的tokenize特別加入了每個數(shù)字之間的空格，讓數(shù)字能更清晰的區(qū)分出來，避免詞典中對數(shù)字區(qū)分的不合理問題。

2、離散化

這類方法將時間序列進行離散化處理，將連續(xù)的數(shù)值轉換為離散的id化結果，以適配NLP大模型的輸入形式。例如，一種方法是借助Vector Quantized-Variational AutoEncoder（VQ-VAE）技術，將時間序列映射成離散的表征。VQ-VAE是一種VAE基礎上的autoencoder結構，VAE通過Encoder將原始輸入映射成表征向量，再通過Decoder還原原始數(shù)據(jù)。而VQ-VAE則保證了中間生成的表征向量是離散化的。根據(jù)這個離散化表征向量構造成一個詞典，實現(xiàn)時間序列數(shù)據(jù)離散化的映射。另一種方法是基于K-means的離散化，利用Kmeans生成的質心將原始的時間序列離散化。另外再一些工作中，也將時間序列直接轉換成文本，例如在一些金融場景中，將每天的漲價、降價等信息直接轉換成相應的字母符號作為NLP大模型的輸入。

圖片

3、時間序列-文本對齊

這類方法借助到多模態(tài)領域的對齊技術，將時間序列的表征對齊到文本空間，以此實現(xiàn)時間序列數(shù)據(jù)直接輸入到NLP大模型的目標。

在這類方法中，一些多模態(tài)對齊的方法被廣泛應用其中。一種最典型的就是基于對比學習的多模態(tài)對齊，類似CLIP，使用時間序列編碼器和大模型分別輸入時間序列和文本的表示向量，然后使用對比學習拉近正樣本對之間的距離，在隱空間對齊時間序列數(shù)據(jù)和文本數(shù)據(jù)的表征。

另一種方法是基于時間序列數(shù)據(jù)的finetune，以NLP大模型作為backbone，在此基礎上引入額外的網(wǎng)絡適配時間序列數(shù)據(jù)。這其中，LoRA等跨模態(tài)finetune的高效方法比較常見，凍結backbone的大部分參數(shù)，只對小部分參數(shù)進行finetune，或者引入少量的adaptor參數(shù)進行finetune，以達到多模態(tài)對齊的效果。

圖片

4、引入視覺信息

這種方法比較少見，一般是將時間序列和視覺信息建立聯(lián)系，再將利用圖像和文本已經(jīng)經(jīng)過比較深入研究的多模態(tài)能力引入進來，為下游任務提取有效的特征。例如ImageBind中對6個模態(tài)的數(shù)據(jù)進行統(tǒng)一的對齊，其中就包括時間序列類型的數(shù)據(jù)，實現(xiàn)多模態(tài)的大模型統(tǒng)一。一些金融領域的模型，將股票的價格轉換成圖表數(shù)據(jù)，再配合CLIP進行圖文對齊，生成圖表相關的特征用于下游的時間序列任務。

5、大模型工具

這類方法不再對NLP大模型進行模型上的改進，或者改造時間序列數(shù)據(jù)形式進行大模型適配，而是直接將NLP大模型當成一個工具，解決時間序列問題。例如，讓大模型生成解決時間序列預測的代碼，應用到時間序列預測上；或者是讓大模型調用開源的API解決時間序列問題。當然這類方式就比較偏向實際應用了。

最后，文中總結了各類方法的代表工作以及代表數(shù)據(jù)集：

圖片

圖片