這幾天亞馬遜發(fā)布了一篇使用大模型做時間序列預(yù)測的工作，屬于大模型在時序預(yù)測中的第一次探索，利用大模型提升金融場景預(yù)測中的多模態(tài)數(shù)據(jù)處理能力和可解釋能力。這篇文章屬于一個比較有意思的探索工作，思路可以借鑒，但是想要達到SOTA效果還有待進一步研究。下面給大家介紹一下這篇文章的建模思路。

論文標題：Temporal Data Meets LLM - Explainable Financial Time Series Forecasting

下載地址：https://arxiv.org/pdf/2306.11025v1.pdf

1、問題背景

金融領(lǐng)域是時間序列預(yù)測技術(shù)的一個重要應(yīng)用場景。與普通的時序預(yù)測不同，金融領(lǐng)域的時間序列預(yù)測建模面對著更加復(fù)雜的挑戰(zhàn)，而這些挑戰(zhàn)可以使用大模型來解決，主要體現(xiàn)在以下3個方面。

第一點是如何建模復(fù)雜的序列間關(guān)系。在股價預(yù)測中，不同股票價格之間存在很強的依賴關(guān)系或關(guān)聯(lián)關(guān)系，因此能否建模好序列間關(guān)系至關(guān)重要。大模型的序列建模能力和多序列關(guān)系建模很強，因此我們可以嘗試將大模型這些能力應(yīng)用到序列預(yù)測中。

第二點是對文本數(shù)據(jù)的處理能力。目前的金融場景時間序列預(yù)測問題，很多都重點研究如何處理金融資訊信息，融入到時間序列預(yù)測建模中。股價的波動很多程度上來源于金融資訊，只靠單純的時間序列建模是無法涵蓋全部信息的。這種多模態(tài)信息的有效引入，對于金融場景時序預(yù)測效果有很大幫助。大模型天然的具有強大的文本處理能力，因此自然成為這個問題的有力解決方案。

第三點是可解釋性，這也是各個領(lǐng)域的深度學(xué)習模型都追求的一個點，如何讓模型的預(yù)測結(jié)果更具可解釋性，能讓預(yù)測結(jié)果更有價值，指導(dǎo)我們的行動。大模型的可解釋性也很強，例如通過思維鏈等方式讓大模型生成給出答案的原因。

基于以上考慮，本文嘗試了利用大模型做時間序列，同時解決上述3個問題。

2、實現(xiàn)方法

整體的建模方法主要包括對時間序列的處理、對文本信息的引入、prompt設(shè)計、基于Instruction Tuning的大模型微調(diào)4個部分。

時間序列處理：文中將時間序列通過離散化的方式轉(zhuǎn)換為符號表示，文中的預(yù)測目標是納斯達克100各個公司股票投資回報，即周期末相比周期初股價漲幅。文中將漲幅變成符號，比如D1代表跌1%以內(nèi)，U2代表漲2%以內(nèi)等等。處理成這種符號化的表示，方便輸入到后續(xù)的大模型中。

文本信息引入：在文本信息方面，文中利用GPT4進行信息生成，包括公司的整體介紹、可能影響股價的優(yōu)勢和劣勢等文本信息。此外，對于新聞資訊信息，使用GPT4進行摘要生成和關(guān)鍵字抽取，作為后續(xù)的輸入。公司介紹和摘要生成的例子如下：

prompt設(shè)計：有了上述信息，整體的預(yù)測prompt如下圖所示，輸入包括離散化后的時間序列符號化表示、GPT4生成的公司簡介、新聞?wù)刃畔?，讓大模型給出預(yù)測結(jié)果。

Instruction Tuning：只基于這種zero-shot的方式可能無法發(fā)揮大模型最強的能力，因此文中進一步采用了Instruction Tuning，使用上述方式構(gòu)造30k的周預(yù)測和7k月預(yù)測數(shù)據(jù)，用開源的LLaMa模型進行Instruction Tuning。（關(guān)于Instruction Tuning在之前的文章有過多次介紹，本質(zhì)上就是將任務(wù)轉(zhuǎn)換成文本，以語言模型為目標微調(diào)大模型）

3、實驗結(jié)果

下表是文中的實驗結(jié)果，主要對比大模型之間的效果，以及其與一些簡單時間序列預(yù)測方式的效果差異。整體來看，用大模型進行這種粗粒度預(yù)測是可行的，同時GPT4的效果非常顯著，GPT4的few-shot效果要優(yōu)于基于LLaMa的instruction tuning方法。

4、總結(jié)

大模型在序列數(shù)據(jù)上的應(yīng)用，是一個值得研究的點。文中通過這種離散化時間序列的方式，進行基于大模型的預(yù)測，是有潛力改變金融場景時間序列預(yù)測范式的一個方式。