今天給大家介紹一篇時間序列大模型研究工作。這項工作基于預訓練的語言模型，增強時間序列預測效果，文中提出了多層次、多頻率表征抽取和語義對齊模塊，實現(xiàn)LLM在時間序列數(shù)據(jù)形式上更好的應用。

論文標題：LLM-PS: Empowering Large Language Models for Time Series Forecasting with Temporal Patterns and Semantics

下載地址：??https://arxiv.org/pdf/2503.09656??

1.研究背景

使用大模型進行時間序列預測已經成為一個目前的熱點研究方向。然而，目前借助預訓練大語言模型進行時序預測，存在2個核心難點。首先是時間序列的多樣化的pattern，和文本差異比較大，文本的含義都是穩(wěn)定的，而時間序列數(shù)據(jù)經常出現(xiàn)各種各樣的不同變化，給語言模型適配時間序列數(shù)據(jù)帶來難度。其次，相比文本token的確定性含義，時間序列需要相對較長的序列長度才能具有明確的含義，比如是上漲趨勢還是下降趨勢，這給如何將時間序列轉換成文本token帶來難度。

為了解決上述問題，本文提出了LLM-PS方法，通過多層次的卷積網絡提取不同類型的序列信息，并通過序列表征和token embedding的對齊實現(xiàn)將時間序列映射到文本表征的作用。LLM-PS在多個數(shù)據(jù)集上取得了效果提升，下面給大家展開介紹一些具體實現(xiàn)方法。

2.建模方法

本文的核心模型結構如下圖所示，整體的工作流程如下。對于原始時間序列，使用多層次的卷積和小波變換，提取局部/全域信息以及高頻/低頻信息。同時，構建Time-Text模塊進行時間序列和LLM詞向量空間的對齊關系。最后通過時序表征和對齊后的文本表征聯(lián)合優(yōu)化，基于LoRA進行大模型的微調。

首先介紹第一個核心模塊MSCNN。這個模塊用來從原始時間序列中提取長短周期等信息，解決時間序列pattern多樣性的問題。MSCNN通過多層的卷積進行表征提取，每層卷積為3*3的卷積核，通過多層嵌套逐步擴展感受野，得到從局部到全局的多組時序表征F。

這些表征，分別使用小波變化，分界處低頻和高頻信號，對低頻和高頻部分分別使用逆向小波變換，還原出對應的低頻和高頻表征。同時，使用從全局到局部和從局部到全局的各個F對應低頻和高頻信號進行逐層加和，得到高頻部分從局部到全局的表征，以及低頻部分從局部到全局的標注。MSCNN模塊可以說起到了從多個維度相對全面將時間序列表征進行解耦抽取的作用。

接下來介紹第二個模塊，Time-Text模塊。這個模塊的核心是將時序表征映射到LLM的詞向量空間，實現(xiàn)時間序列到文本的轉換。其核心是通過patch對原始時間序列進行處理，并進行75%的大比例隨機mask，通過Encoder生成中間表征，Decoder還原，類似于一個自編碼器。其中Encoder的中間表征和LLM的embedding計算相似度，根據(jù)相似度將每個patch映射到對應的文本上。

最后，這兩部分表征會進行融合，作為LLM的輸入進行時序預測，使用LoRA進行LLM的微調，以MSE作為損失函數(shù)進行訓練。

3.實驗效果

文中對比了多元長周期時序預測、短期時序預測，LLM-PS取得了顯著效果提升。

本文轉載自??圓圓的算法筆記??