譯者 | 布加迪

審校 | 重樓

我們正處于這樣一個時代：大型基礎模型（大規(guī)模通用神經(jīng)網(wǎng)絡以無監(jiān)督的方式使用大量不同的數(shù)據(jù)進行預訓練）徹底改變計算機視覺、自然語言處理以及最近的時間序列預測等領域。這種模型通過實現(xiàn)零樣本預測來重塑時間序列預測領域，允許使用新的、未見過的數(shù)據(jù)進行預測，無需針對每個數(shù)據(jù)集進行重新訓練。這一突破顯著縮減了開發(fā)時間和成本，簡化了為不同任務創(chuàng)建和微調(diào)模型的過程。

機器學習方法在時間序列預測中的作用首次在M4和M5預測競賽中得到了突出體現(xiàn)，基于機器學習的模型在這類競賽中的表現(xiàn)首次顯著優(yōu)于傳統(tǒng)的統(tǒng)計方法。在2020年的M5競賽中，LightGBM、DeepAR和N-BEATS等先進模型展示了納入外生變量（比如天氣或假期等影響數(shù)據(jù)但不屬于核心時間序列的因素）的效果。這種方法帶來了前所未有的預測準確性。

這類競賽強調(diào)了從多個相關序列中交叉學習的重要性，為開發(fā)專門為時間序列分析設計的基礎模型鋪平了道路。它們還激發(fā)了人們對用于時間序列預測的機器學習模型的興趣，因為機器學習模型能夠識別復雜的時間模式，并整合外生變量，正日益取代統(tǒng)計方法。（注意：在短期單變量時間序列預測方面，統(tǒng)計方法的表現(xiàn)仍常常勝過機器學習模型。）

基礎預測模型時間表

2023年10月，TimeGPT-1作為首批基礎預測模型之一而發(fā)布，該模型旨在對不同時間序列數(shù)據(jù)集進行泛化，無需針對每個數(shù)據(jù)集進行特定的訓練。與傳統(tǒng)的預測方法不同，基礎預測模型利用大量的預訓練數(shù)據(jù)進行零樣本預測。這一突破使企業(yè)得以避免了為特定任務訓練和調(diào)優(yōu)模型這個時間長、開銷大的過程，為處理動態(tài)變化數(shù)據(jù)的行業(yè)提供了適應性很強的解決方案。

隨后在2024年2月，Lag-Llama發(fā)布。它專注于通過關注滯后依賴關系來進行長期預測，滯后依賴關系是時間序列中過去值和未來結果之間的時間相關性。滯后依賴關系在金融和能源等領域尤為重要；在這些領域，當前趨勢常常受到過去長期事件的嚴重影響。通過有效地捕獲這些依賴關系，Lag-Llama提高了在較長時間范圍至關重要的情況下的預測準確性。

2024年3月，一個簡單但高效的預訓練概率時間序列模型框架Chronos問世。Chronos通過縮放和量化來標記時間序列值，即將連續(xù)的數(shù)值數(shù)據(jù)轉(zhuǎn)換成離散的類別。這讓它得以將基于Transformer的語言模型（通常用于文本生成）運用于時間序列數(shù)據(jù)。Transformer擅長識別序列中的模式，而通過將時間序列視為標記序列，Chronos使這些模型能夠有效地預測未來的值。Chronos基于T5模型系列（參數(shù)從2000萬個到7.10億個不等），使用公共和合成數(shù)據(jù)集進行預訓練。針對42個數(shù)據(jù)集的基準測試表明，Chronos在熟悉的數(shù)據(jù)集上的性能明顯優(yōu)于其他方法，在新數(shù)據(jù)上的零樣本性能也很出色。這種多功能性使Chronos成為零售、能源和醫(yī)療保健等行業(yè)一種強大的預測工具，它在這些行業(yè)很好地適用于各種數(shù)據(jù)源。

2024年4月，谷歌推出了TimesFM，這是一個使用1000億個實際時間點進行預訓練的純解碼器基礎模型。與使用編碼器和解碼器的標準Transformer模型不同，TimesFM專注于僅根據(jù)過去的輸入一步一步地生成預測，因而是時間序列預測的理想選擇。像TimesFM這樣的基礎模型不同于傳統(tǒng)的Transformer模型，后者通常需要針對特定任務的訓練，并且在不同領域的通用性較差。TimesFM在零售、金融和自然科學等領域能夠直接提供準確的預測，因而極具價值，因為它不需要使用新的時間序列數(shù)據(jù)進行大量的重新訓練。

2024年5月，Salesforce推出了開源基礎預測模型Moirai，旨在支持概率零樣本預測和處理外生特征。Moirai克服了時間序列預測方面的挑戰(zhàn)，比如交叉頻率學習、適應多個變量以及管理不同的分布屬性。它建立在基于掩碼編碼器的通用時間序列預測Transformer（MOIRAI）架構上，充分利用了大規(guī)模開放時間序列存檔（LOTSA），包括橫跨9個領域的270多億個觀測數(shù)據(jù)。借助任意變量注意力和靈活參數(shù)分布等技術，Moirai可以針對不同的數(shù)據(jù)集提供易于擴展的零樣本預測，無需針對特定任務進行重新訓練，這標志著向通用時間序列預測邁出了一大步。

IBM的Tiny Time Mixers（TTM）于2024年6月發(fā)布，提供了傳統(tǒng)時間序列基礎模型的輕量級替代方案。TTM是一種基于MLP的模型，依賴全連接的神經(jīng)網(wǎng)絡，而不是使用Transformer的注意力機制。像自適應補丁和分辨率前綴調(diào)優(yōu)這樣的技術創(chuàng)新讓TTM可以在處理多變量預測和外生變量的同時，有效地適用于不同的數(shù)據(jù)集。高效率使其成為計算資源有限的低延遲環(huán)境的一種理想選擇。

AutoLab的MOMENT也于2024年5月發(fā)布，是一種為通用時間序列分析設計的開源基礎模型系列。MOMENT克服了時間序列數(shù)據(jù)預訓練方面的三大挑戰(zhàn)：缺少大型內(nèi)聚公共時間序列存儲庫、時間序列數(shù)據(jù)的多種特征（比如可變采樣率和分辨率）以及缺少用于評估模型的既定基準。為了解決這些問題，AutoLab引入了時間序列堆（Time Series Pile），這是跨多個領域的公共時間序列數(shù)據(jù)集合，并開發(fā)了一套基準來評估MOMENT處理短期和長期預測、分類、異常檢測和填補等任務的表現(xiàn)。借助最小化微調(diào)，MOMENT在處理這些任務時提供了令人印象深刻的零樣本學習性能，提供了易于擴展的通用時間序列模型。

總之，這些模型代表了時間序列預測的新前沿。它們?yōu)楦餍懈鳂I(yè)提供了生成更準確的預測、識別復雜模式以及改進決策的能力，同時減少了對大量的特定領域訓練的需求。

時間序列和語言模型的未來：文本數(shù)據(jù)與傳感器數(shù)據(jù)相結合

展望未來，時間序列模型與語言模型相結合正帶來令人興奮的創(chuàng)新。像Chronos、Moirai和TimesFM這樣的模型正將時間序列預測推向新的高峰，但下一個前沿是將傳統(tǒng)傳感器數(shù)據(jù)與非結構化文本相結合，以獲得更好的結果。

以汽車行業(yè)為例，借助NLP將傳感器數(shù)據(jù)與技術人員報告和服務記錄相結合，以全面深入地了解潛在的維護問題。在醫(yī)療保健領域，病人的實時監(jiān)測與醫(yī)生的筆記相結合，可以預測早期診斷的健康結果。零售和拼車公司則利用社交媒體和活動數(shù)據(jù)以及時間序列預測，更準確地預測重大活動期間的拼車需求或銷售高峰。

通過結合這兩種強大的數(shù)據(jù)類型，物聯(lián)網(wǎng)、醫(yī)療保健和物流等行業(yè)正在更深入、更實時地了解當前發(fā)生的情況和即將發(fā)生的趨勢，從而做出更明智的決策和更準確的預測。

原文標題：The Evolution of Time-Series Models: AI Leading a New Forecasting Era，作者：Anais Dotis-Georgiou