準(zhǔn)確的金融市場預(yù)測需要多樣化的數(shù)據(jù)源，包括歷史價(jià)格趨勢(shì)、宏觀經(jīng)濟(jì)指標(biāo)和金融新聞?，F(xiàn)有方法通常獨(dú)立處理這些數(shù)據(jù)，未能有效建模其交互。

本文提出了跨模態(tài)時(shí)間融合（CMTF）框架，集成異構(gòu)金融數(shù)據(jù)以提高預(yù)測準(zhǔn)確性。實(shí)驗(yàn)表明，CMTF在預(yù)測上優(yōu)于多種基線模型，提升了精度、召回率和F1分?jǐn)?shù)。

摘要

準(zhǔn)確的金融市場預(yù)測需要多樣化的數(shù)據(jù)源，包括歷史價(jià)格趨勢(shì)、宏觀經(jīng)濟(jì)指標(biāo)和金融新聞?，F(xiàn)有方法通常獨(dú)立處理這些數(shù)據(jù)，未能有效建模其交互。本文提出了跨模態(tài)時(shí)間融合（CMTF）框架，集成異構(gòu)金融數(shù)據(jù)以提高預(yù)測準(zhǔn)確性。CMTF使用注意力機(jī)制動(dòng)態(tài)加權(quán)不同模態(tài)的貢獻(xiàn)，并采用專門的Tensor解釋模塊進(jìn)行特征提取。引入成熟的自我訓(xùn)練方案以加速模型迭代，適用于行業(yè)應(yīng)用。在實(shí)際金融數(shù)據(jù)集上，CMTF在股票價(jià)格預(yù)測方面優(yōu)于基線模型，提供可擴(kuò)展的跨模態(tài)集成解決方案。

簡介

金融市場預(yù)測面臨挑戰(zhàn)，主要目標(biāo)是準(zhǔn)確預(yù)測資產(chǎn)價(jià)格以獲取利潤。有效市場假說（EMH）認(rèn)為市場效率限制了超額收益的產(chǎn)生，但存在市場非效率的實(shí)證證據(jù)。傳統(tǒng)預(yù)測模型依賴歷史時(shí)間序列數(shù)據(jù)，深度學(xué)習(xí)和自然語言處理（NLP）技術(shù)的進(jìn)步使得復(fù)雜市場動(dòng)態(tài)和非結(jié)構(gòu)化文本數(shù)據(jù)的整合成為可能?，F(xiàn)有方法面臨三大挑戰(zhàn)：

1) 異構(gòu)數(shù)據(jù)整合不足

2) 預(yù)測可解釋性差

3) 訓(xùn)練模式不靈活

本文提出CMTF框架，旨在：

1) 整合多模態(tài)數(shù)據(jù)

2) 確保預(yù)測可解釋性

3) 自動(dòng)化訓(xùn)練方案以快速迭代和超參數(shù)調(diào)優(yōu)

CMTF框架的主要貢獻(xiàn)在于：

1) 提出多模態(tài)Tensor表示，系統(tǒng)對(duì)齊異構(gòu)信號(hào)

2) 設(shè)計(jì)稀疏Tensor解釋框架，確?？山忉尯涂刹僮鞯念A(yù)測

3) 在FTSE 100指數(shù)股票上進(jìn)行實(shí)驗(yàn)，CMTF在預(yù)測上優(yōu)于多種基線模型，提升了精度、召回率和F1分?jǐn)?shù)。

相關(guān)工作

多模態(tài)

多模態(tài)學(xué)習(xí)在金融預(yù)測中融合結(jié)構(gòu)化和非結(jié)構(gòu)化數(shù)據(jù)的進(jìn)展。時(shí)間融合transformer在處理低頻財(cái)報(bào)時(shí)存在固定時(shí)間對(duì)齊的問題。跨模態(tài)transformer對(duì)齊日常X數(shù)據(jù)與歷史價(jià)格趨勢(shì)，但忽略了模態(tài)頻率不匹配。動(dòng)量transformer結(jié)合技術(shù)指標(biāo)與注意力機(jī)制，捕捉動(dòng)量驅(qū)動(dòng)的市場狀態(tài)，但缺乏同步不同粒度數(shù)據(jù)的機(jī)制。盡管預(yù)測性能良好，這些模型在結(jié)果解釋性上存在不足，限制了其在實(shí)際金融決策中的應(yīng)用。

金融時(shí)間序列預(yù)測

現(xiàn)代金融時(shí)間序列預(yù)測越來越多地采用混合架構(gòu)，Informer是針對(duì)時(shí)間序列預(yù)測優(yōu)化的變種，降低了推理成本。針對(duì)高頻交易數(shù)據(jù)，設(shè)計(jì)了基于強(qiáng)化學(xué)習(xí)的框架，使用波動(dòng)性敏感獎(jiǎng)勵(lì)。不同模型拓?fù)涞男时惶接?，圖形拓?fù)鋵⒐善币暈楣?jié)點(diǎn)，傳統(tǒng)多時(shí)間序列模型則將每只股票視為獨(dú)立時(shí)間序列。Autoformer利用自相關(guān)分解市場趨勢(shì)和季節(jié)效應(yīng)，但僅限于單模態(tài)輸入，無法適應(yīng)突發(fā)市場變化。大多數(shù)模型直接使用預(yù)處理數(shù)據(jù)，未解決多模態(tài)非結(jié)構(gòu)化數(shù)據(jù)處理的復(fù)雜性。

可解釋性

工業(yè)應(yīng)用中，金融預(yù)測模型的可解釋性至關(guān)重要，需提供可操作的決策洞察。現(xiàn)有的后期解釋工具（如注意力圖和顯著性方法）缺乏經(jīng)濟(jì)基礎(chǔ)。新的深度學(xué)習(xí)架構(gòu)如Temporal Routing Adaptor通過動(dòng)態(tài)路由學(xué)習(xí)交易模式，但解釋性有限。Domain-Adaptive Neural Attention Network通過跨模態(tài)注意力對(duì)齊新聞情緒與價(jià)格變動(dòng)，但降低了對(duì)特定模態(tài)的歸因解釋。深度強(qiáng)化學(xué)習(xí)框架通過歷史回報(bào)模式生成注意力熱圖，識(shí)別動(dòng)量行為，但未能區(qū)分因果顯著因素與統(tǒng)計(jì)相關(guān)性。

預(yù)備知識(shí)

符號(hào)

CMTF模型的關(guān)鍵符號(hào)：時(shí)間步??和時(shí)間步集合??。??為融合后的輸入特征數(shù)量，??為預(yù)測的目標(biāo)股票數(shù)量。輸入Tensor ?? ∈ R?? × ??包含所有時(shí)間的編碼特征。模型預(yù)測下一個(gè)時(shí)間步(?? + 1)的??只股票的收盤價(jià)????? +1。?? ?、?? ??、?? ??、?? ??分別表示歷史數(shù)據(jù)、宏觀指數(shù)、新聞和財(cái)報(bào)的結(jié)構(gòu)化Tensor。

任務(wù)定義

本文針對(duì)金融市場預(yù)測的分類任務(wù)，目標(biāo)是預(yù)測股票價(jià)格的漲跌方向。在每個(gè)時(shí)間步??，定義二分類標(biāo)簽表示價(jià)格變動(dòng)的真實(shí)方向。采用簡單的二分類方法，利用收盤價(jià)的變化來判斷價(jià)格是上漲（1）還是下跌（0）。分類模型旨在最小化預(yù)測方向與真實(shí)方向之間的二元交叉熵?fù)p失。

方法

CMTF框架包含四個(gè)組件：Tensor表示、Tensor編碼、Tensor解釋和基于transformer的預(yù)測模型。

Tensor表示

本文使用結(jié)構(gòu)化數(shù)據(jù)和非結(jié)構(gòu)化文本數(shù)據(jù)，重點(diǎn)處理文本數(shù)據(jù)。針對(duì)新聞數(shù)據(jù)，采用CatBoost提取分類Tensor ????，結(jié)合文本信號(hào)和市場技術(shù)指標(biāo)。CatBoost的損失函數(shù)包括L2正則化和編碼穩(wěn)定器，優(yōu)化模型參數(shù)??。

針對(duì)財(cái)務(wù)報(bào)告數(shù)據(jù)，使用大型語言模型（LLM）生成五維評(píng)分向量??，并映射到結(jié)構(gòu)化特征空間，形成Tensor ????。

最終獲得四種Tensor：歷史數(shù)據(jù)???、宏觀指標(biāo)????、新聞數(shù)據(jù)????和財(cái)務(wù)報(bào)告????，為后續(xù)編碼做準(zhǔn)備。

Tensor編碼

事件驅(qū)動(dòng)模型中的影響通常會(huì)持續(xù)較長時(shí)間，因此采用加權(quán)移動(dòng)平均（WMA）來建模影響的衰減。WMA為近期觀察賦予更高權(quán)重，以反映事件隨時(shí)間的影響減弱。

??表示固定窗口大小，??表示觀察時(shí)間的延遲。

計(jì)算WMA后，應(yīng)用時(shí)間融合（TF）到所有Tensor。

最終特征集通過連接多個(gè)Tensor形成。

Tensor解釋

提出了一種可解釋的特征選擇框架，用于解碼金融Tensor中的跨模態(tài)交互，結(jié)合了時(shí)間稀疏性和穩(wěn)定性分析。

相關(guān)性引導(dǎo)預(yù)選擇：通過均值絕對(duì)相關(guān)性閾值消除多重共線性特征。

時(shí)間特征擴(kuò)展：構(gòu)建滯后特征以捕捉市場延遲反應(yīng)，采用一階時(shí)間卷積。

多任務(wù)組稀疏性：通過凸時(shí)間組LASSO目標(biāo)，選擇最相關(guān)特征，鼓勵(lì)特征層面的稀疏性。

穩(wěn)定性選擇：通過多數(shù)投票保留在時(shí)間折疊中具有持久預(yù)測能力的特征。

事件驅(qū)動(dòng)預(yù)測模型

事件驅(qū)動(dòng)預(yù)測模型包含transformer和預(yù)測器，快速更新超參數(shù)，使用過濾特征X。

transformer結(jié)構(gòu)：

• 編碼器包括多頭注意力（MHA）、前饋層（FFN）、位置編碼（PE）和層歸一化。
• 輸入H_l結(jié)合原始特征嵌入和位置編碼。
• 計(jì)算查詢Q、鍵K和值V矩陣，使用softmax歸一化注意力分?jǐn)?shù)。

輸出預(yù)測：從最后時(shí)間步的隱藏狀態(tài)x_T生成預(yù)測P_t+1。

優(yōu)化器：使用Optuna框架，采用異步逐步減半算法，快速更新超參數(shù)。

預(yù)測器：

• 樹結(jié)構(gòu)Parzen估計(jì)器（TPE）：建模超參數(shù)x與目標(biāo)函數(shù)y的概率。

• 協(xié)方差矩陣適應(yīng)進(jìn)化策略（CMA-ES）：基于最佳候選的加權(quán)和更新均值M。

CMTF的實(shí)證分析

本文分析CMTF的實(shí)證效果，旨在回答三個(gè)研究問題：

• CMTF在金融市場預(yù)測中的有效性如何？
• CMTF各個(gè)模塊的有效性如何？
• Tensor解釋模塊的敏感性對(duì)性能的影響如何？

數(shù)據(jù)集

數(shù)據(jù)覆蓋1360天（2019年2月4日-2024年5月22日），包括結(jié)構(gòu)化金融數(shù)據(jù)和來自五家FTSE 100上市公司的非結(jié)構(gòu)化文本數(shù)據(jù)（殼牌、聯(lián)合利華、英美煙草、BP、帝亞吉?dú)W）。選擇美國和英國的宏觀指數(shù)以代表全球和目標(biāo)市場的宏觀經(jīng)濟(jì)。數(shù)據(jù)按時(shí)間順序分為訓(xùn)練集（804天）、驗(yàn)證集（268天）和測試集（268天）。最終Tensor結(jié)構(gòu)保留市場波動(dòng)（價(jià)格）、宏觀指數(shù)（債券/GDP/CPI）和公司披露（新聞/報(bào)告）之間的跨模態(tài)交互。

配置

評(píng)分維度：風(fēng)險(xiǎn)、市場條件、監(jiān)管、ESG和創(chuàng)新，評(píng)分范圍1到9，數(shù)據(jù)來自Llama3。

基線模型：ARIMA自動(dòng)選擇參數(shù)，LSTM使用50個(gè)單元和ReLU激活，訓(xùn)練200輪；SVR使用線性核，為每個(gè)目標(biāo)變量訓(xùn)練單獨(dú)模型并計(jì)算平均結(jié)果。

與基線比較

我們的框架與多種預(yù)測模型進(jìn)行基準(zhǔn)測試，涵蓋從可解釋的線性統(tǒng)計(jì)模型到神經(jīng)網(wǎng)絡(luò)架構(gòu)的廣泛方法。

不用模型：

• 零變動(dòng)預(yù)測：明日收盤價(jià)等于今日收盤價(jià)，明日方向與今日方向相同。

經(jīng)典統(tǒng)計(jì)模型：

• 線性回歸：通過最小化平方殘差擬合線性關(guān)系。
• ARIMA：結(jié)合自回歸、差分和移動(dòng)平均，捕捉非平穩(wěn)時(shí)間序列的依賴性、趨勢(shì)和季節(jié)性。

機(jī)器學(xué)習(xí)方法：

• 隨機(jī)森林：通過多個(gè)去相關(guān)決策樹的預(yù)測聚合，減少過擬合。
• 支持向量回歸（SVR）：將輸入映射到高維空間，優(yōu)化邊際敏感損失函數(shù)。

深度學(xué)習(xí)架構(gòu)：

• LSTM：通過門控機(jī)制建模長期序列依賴，減輕梯度消失問題。
• Encoder-only transformer：利用自注意力機(jī)制編碼時(shí)間序列的位置信息和時(shí)間關(guān)系。

評(píng)估指標(biāo)

用精確度、召回率和F1分?jǐn)?shù)評(píng)估模型性能，數(shù)值越高表示性能越好。

定義分類指標(biāo)：TP（真正例）為正確預(yù)測價(jià)格上漲，TN（真負(fù)例）為正確預(yù)測價(jià)格下跌，F(xiàn)P（假正例）為錯(cuò)誤預(yù)測價(jià)格上漲，F(xiàn)N（假負(fù)例）為錯(cuò)誤預(yù)測價(jià)格下跌。

專注于分類指標(biāo)，避免使用回歸任務(wù)中的誤差指標(biāo)，因?yàn)榱阕兓Ｐ屯ǔ?huì)返回較低的RMSE和MAPE。

RQ1：性能比較

CMTF框架在分類任務(wù)中表現(xiàn)優(yōu)異，召回率達(dá)到84.88%，F(xiàn)1-score為0.64，超越所有基線模型。隨機(jī)森林的F1-score為0.60，召回率71.10%，雖然有效，但低于CMTF。CMTF的優(yōu)勢(shì)在于有效整合異構(gòu)數(shù)據(jù)源，利用Tensor分解捕捉跨模態(tài)依賴，提升預(yù)測準(zhǔn)確性。

RQ2：消融分析

進(jìn)行了CMTF框架的消融研究，分析了Tensor Interpretation模塊（I）、新聞數(shù)據(jù)（N）和財(cái)務(wù)報(bào)告（R）的影響。

在禁用Tensor Interpretation（-I）且包含新聞和財(cái)務(wù)報(bào)告（+N, +R）時(shí)，分類的召回率最高為80.09%，F(xiàn)1-score最佳為0.61。

文本模態(tài)對(duì)預(yù)測市場走勢(shì)方向至關(guān)重要，可能因其能捕捉情緒和基本面變化。

RQ3：模塊靈敏度

進(jìn)行消融研究，比較不同基線方法在有無Tensor Interpreting (+I)情況下的表現(xiàn)。Precision在各模型中保持穩(wěn)定，表明Tensor Interpreting不影響類別可分性。Recall顯著提升，尤其在Transformer和LSTM模型中，表明+I有助于識(shí)別更多相關(guān)模式。結(jié)果確認(rèn)Tensor Interpretation提升分類性能，特別是對(duì)依賴特征變換的模型（如SVR、LSTM、Transformer）。

討論

缺乏公開的標(biāo)準(zhǔn)化多模態(tài)和跨模態(tài)金融預(yù)測數(shù)據(jù)集，限制了研究的廣泛適用性?，F(xiàn)有研究未能有效整合非結(jié)構(gòu)化數(shù)據(jù)（如文本）到預(yù)測模型中。數(shù)據(jù)隱私問題導(dǎo)致一些多樣化數(shù)據(jù)集無法公開，影響了可重復(fù)性和基準(zhǔn)測試。

未來工作可探討財(cái)報(bào)與新聞之間的情感關(guān)聯(lián)，分析其單獨(dú)貢獻(xiàn)以提高CMTF框架的可解釋性。簡單模型（如SVR）表現(xiàn)良好，提示非結(jié)構(gòu)化數(shù)據(jù)在次日價(jià)格預(yù)測中的相關(guān)性較低，需進(jìn)行任務(wù)特定模型選擇。探索簡單模型為何優(yōu)于復(fù)雜模型的情況，有助于理解多模態(tài)方法的局限性和最佳應(yīng)用場景。

總結(jié)

本文引入跨模態(tài)時(shí)間融合（CMTF）框架，基于Transformer的深度學(xué)習(xí)模型，用于金融市場預(yù)測。CMTF有效捕捉歷史價(jià)格趨勢(shì)、宏觀指數(shù)和文本金融數(shù)據(jù)之間的交互。實(shí)際金融數(shù)據(jù)集表明，CMTF在分類任務(wù)上優(yōu)于所有基線模型。探索模型可解釋性，分析不同模態(tài)數(shù)據(jù)的重要性，并適應(yīng)市場動(dòng)態(tài)變化。CMTF不僅是金融市場預(yù)測模型，還是處理多模態(tài)數(shù)據(jù)的強(qiáng)大框架。

本文轉(zhuǎn)載自????靈度智能????，作者：靈度智能