我們正處于這樣一個(gè)時(shí)代：大型基礎(chǔ)模型（大規(guī)模通用神經(jīng)網(wǎng)絡(luò)以無(wú)監(jiān)督的方式使用大量不同的數(shù)據(jù)進(jìn)行預(yù)訓(xùn)練）徹底改變計(jì)算機(jī)視覺(jué)、自然語(yǔ)言處理以及最近的時(shí)間序列預(yù)測(cè)等領(lǐng)域。這種模型通過(guò)實(shí)現(xiàn)零樣本預(yù)測(cè)來(lái)重塑時(shí)間序列預(yù)測(cè)領(lǐng)域，允許使用新的、未見(jiàn)過(guò)的數(shù)據(jù)進(jìn)行預(yù)測(cè)，無(wú)需針對(duì)每個(gè)數(shù)據(jù)集進(jìn)行重新訓(xùn)練。這一突破顯著縮減了開(kāi)發(fā)時(shí)間和成本，簡(jiǎn)化了為不同任務(wù)創(chuàng)建和微調(diào)模型的過(guò)程。

機(jī)器學(xué)習(xí)方法在時(shí)間序列預(yù)測(cè)中的作用首次在M4和M5預(yù)測(cè)競(jìng)賽中得到了突出體現(xiàn)，基于機(jī)器學(xué)習(xí)的模型在這類競(jìng)賽中的表現(xiàn)首次顯著優(yōu)于傳統(tǒng)的統(tǒng)計(jì)方法。在2020年的M5競(jìng)賽中，LightGBM、DeepAR和N-BEATS等先進(jìn)模型展示了納入外生變量（比如天氣或假期等影響數(shù)據(jù)但不屬于核心時(shí)間序列的因素）的效果。這種方法帶來(lái)了前所未有的預(yù)測(cè)準(zhǔn)確性。

這類競(jìng)賽強(qiáng)調(diào)了從多個(gè)相關(guān)序列中交叉學(xué)習(xí)的重要性，為開(kāi)發(fā)專門為時(shí)間序列分析設(shè)計(jì)的基礎(chǔ)模型鋪平了道路。它們還激發(fā)了人們對(duì)用于時(shí)間序列預(yù)測(cè)的機(jī)器學(xué)習(xí)模型的興趣，因?yàn)闄C(jī)器學(xué)習(xí)模型能夠識(shí)別復(fù)雜的時(shí)間模式，并整合外生變量，正日益取代統(tǒng)計(jì)方法。（注意：在短期單變量時(shí)間序列預(yù)測(cè)方面，統(tǒng)計(jì)方法的表現(xiàn)仍常常勝過(guò)機(jī)器學(xué)習(xí)模型。）

基礎(chǔ)預(yù)測(cè)模型時(shí)間表

2023年10月，TimeGPT-1作為首批基礎(chǔ)預(yù)測(cè)模型之一而發(fā)布，該模型旨在對(duì)不同時(shí)間序列數(shù)據(jù)集進(jìn)行泛化，無(wú)需針對(duì)每個(gè)數(shù)據(jù)集進(jìn)行特定的訓(xùn)練。與傳統(tǒng)的預(yù)測(cè)方法不同，基礎(chǔ)預(yù)測(cè)模型利用大量的預(yù)訓(xùn)練數(shù)據(jù)進(jìn)行零樣本預(yù)測(cè)。這一突破使企業(yè)得以避免了為特定任務(wù)訓(xùn)練和調(diào)優(yōu)模型這個(gè)時(shí)間長(zhǎng)、開(kāi)銷大的過(guò)程，為處理動(dòng)態(tài)變化數(shù)據(jù)的行業(yè)提供了適應(yīng)性很強(qiáng)的解決方案。

隨后在2024年2月，Lag-Llama發(fā)布。它專注于通過(guò)關(guān)注滯后依賴關(guān)系來(lái)進(jìn)行長(zhǎng)期預(yù)測(cè)，滯后依賴關(guān)系是時(shí)間序列中過(guò)去值和未來(lái)結(jié)果之間的時(shí)間相關(guān)性。滯后依賴關(guān)系在金融和能源等領(lǐng)域尤為重要；在這些領(lǐng)域，當(dāng)前趨勢(shì)常常受到過(guò)去長(zhǎng)期事件的嚴(yán)重影響。通過(guò)有效地捕獲這些依賴關(guān)系，Lag-Llama提高了在較長(zhǎng)時(shí)間范圍至關(guān)重要的情況下的預(yù)測(cè)準(zhǔn)確性。

2024年3月，一個(gè)簡(jiǎn)單但高效的預(yù)訓(xùn)練概率時(shí)間序列模型框架Chronos問(wèn)世。Chronos通過(guò)縮放和量化來(lái)標(biāo)記時(shí)間序列值，即將連續(xù)的數(shù)值數(shù)據(jù)轉(zhuǎn)換成離散的類別。這讓它得以將基于Transformer的語(yǔ)言模型（通常用于文本生成）運(yùn)用于時(shí)間序列數(shù)據(jù)。Transformer擅長(zhǎng)識(shí)別序列中的模式，而通過(guò)將時(shí)間序列視為標(biāo)記序列，Chronos使這些模型能夠有效地預(yù)測(cè)未來(lái)的值。Chronos基于T5模型系列（參數(shù)從2000萬(wàn)個(gè)到7.10億個(gè)不等），使用公共和合成數(shù)據(jù)集進(jìn)行預(yù)訓(xùn)練。針對(duì)42個(gè)數(shù)據(jù)集的基準(zhǔn)測(cè)試表明，Chronos在熟悉的數(shù)據(jù)集上的性能明顯優(yōu)于其他方法，在新數(shù)據(jù)上的零樣本性能也很出色。這種多功能性使Chronos成為零售、能源和醫(yī)療保健等行業(yè)一種強(qiáng)大的預(yù)測(cè)工具，它在這些行業(yè)很好地適用于各種數(shù)據(jù)源。

2024年4月，谷歌推出了TimesFM，這是一個(gè)使用1000億個(gè)實(shí)際時(shí)間點(diǎn)進(jìn)行預(yù)訓(xùn)練的純解碼器基礎(chǔ)模型。與使用編碼器和解碼器的標(biāo)準(zhǔn)Transformer模型不同，TimesFM專注于僅根據(jù)過(guò)去的輸入一步一步地生成預(yù)測(cè)，因而是時(shí)間序列預(yù)測(cè)的理想選擇。像TimesFM這樣的基礎(chǔ)模型不同于傳統(tǒng)的Transformer模型，后者通常需要針對(duì)特定任務(wù)的訓(xùn)練，并且在不同領(lǐng)域的通用性較差。TimesFM在零售、金融和自然科學(xué)等領(lǐng)域能夠直接提供準(zhǔn)確的預(yù)測(cè)，因而極具價(jià)值，因?yàn)樗恍枰褂眯碌臅r(shí)間序列數(shù)據(jù)進(jìn)行大量的重新訓(xùn)練。

2024年5月，Salesforce推出了開(kāi)源基礎(chǔ)預(yù)測(cè)模型Moirai，旨在支持概率零樣本預(yù)測(cè)和處理外生特征。Moirai克服了時(shí)間序列預(yù)測(cè)方面的挑戰(zhàn)，比如交叉頻率學(xué)習(xí)、適應(yīng)多個(gè)變量以及管理不同的分布屬性。它建立在基于掩碼編碼器的通用時(shí)間序列預(yù)測(cè)Transformer（MOIRAI）架構(gòu)上，充分利用了大規(guī)模開(kāi)放時(shí)間序列存檔（LOTSA），包括橫跨9個(gè)領(lǐng)域的270多億個(gè)觀測(cè)數(shù)據(jù)。借助任意變量注意力和靈活參數(shù)分布等技術(shù)，Moirai可以針對(duì)不同的數(shù)據(jù)集提供易于擴(kuò)展的零樣本預(yù)測(cè)，無(wú)需針對(duì)特定任務(wù)進(jìn)行重新訓(xùn)練，這標(biāo)志著向通用時(shí)間序列預(yù)測(cè)邁出了一大步。

IBM的Tiny Time Mixers（TTM）于2024年6月發(fā)布，提供了傳統(tǒng)時(shí)間序列基礎(chǔ)模型的輕量級(jí)替代方案。TTM是一種基于MLP的模型，依賴全連接的神經(jīng)網(wǎng)絡(luò)，而不是使用Transformer的注意力機(jī)制。像自適應(yīng)補(bǔ)丁和分辨率前綴調(diào)優(yōu)這樣的技術(shù)創(chuàng)新讓TTM可以在處理多變量預(yù)測(cè)和外生變量的同時(shí)，有效地適用于不同的數(shù)據(jù)集。高效率使其成為計(jì)算資源有限的低延遲環(huán)境的一種理想選擇。

AutoLab的MOMENT也于2024年5月發(fā)布，是一種為通用時(shí)間序列分析設(shè)計(jì)的開(kāi)源基礎(chǔ)模型系列。MOMENT克服了時(shí)間序列數(shù)據(jù)預(yù)訓(xùn)練方面的三大挑戰(zhàn)：缺少大型內(nèi)聚公共時(shí)間序列存儲(chǔ)庫(kù)、時(shí)間序列數(shù)據(jù)的多種特征（比如可變采樣率和分辨率）以及缺少用于評(píng)估模型的既定基準(zhǔn)。為了解決這些問(wèn)題，AutoLab引入了時(shí)間序列堆（Time Series Pile），這是跨多個(gè)領(lǐng)域的公共時(shí)間序列數(shù)據(jù)集合，并開(kāi)發(fā)了一套基準(zhǔn)來(lái)評(píng)估MOMENT處理短期和長(zhǎng)期預(yù)測(cè)、分類、異常檢測(cè)和填補(bǔ)等任務(wù)的表現(xiàn)。借助最小化微調(diào)，MOMENT在處理這些任務(wù)時(shí)提供了令人印象深刻的零樣本學(xué)習(xí)性能，提供了易于擴(kuò)展的通用時(shí)間序列模型。

總之，這些模型代表了時(shí)間序列預(yù)測(cè)的新前沿。它們?yōu)楦餍懈鳂I(yè)提供了生成更準(zhǔn)確的預(yù)測(cè)、識(shí)別復(fù)雜模式以及改進(jìn)決策的能力，同時(shí)減少了對(duì)大量的特定領(lǐng)域訓(xùn)練的需求。

時(shí)間序列和語(yǔ)言模型的未來(lái)：文本數(shù)據(jù)與傳感器數(shù)據(jù)相結(jié)合

展望未來(lái)，時(shí)間序列模型與語(yǔ)言模型相結(jié)合正帶來(lái)令人興奮的創(chuàng)新。像Chronos、Moirai和TimesFM這樣的模型正將時(shí)間序列預(yù)測(cè)推向新的高峰，但下一個(gè)前沿是將傳統(tǒng)傳感器數(shù)據(jù)與非結(jié)構(gòu)化文本相結(jié)合，以獲得更好的結(jié)果。

以汽車行業(yè)為例，借助NLP將傳感器數(shù)據(jù)與技術(shù)人員報(bào)告和服務(wù)記錄相結(jié)合，以全面深入地了解潛在的維護(hù)問(wèn)題。在醫(yī)療保健領(lǐng)域，病人的實(shí)時(shí)監(jiān)測(cè)與醫(yī)生的筆記相結(jié)合，可以預(yù)測(cè)早期診斷的健康結(jié)果。零售和拼車公司則利用社交媒體和活動(dòng)數(shù)據(jù)以及時(shí)間序列預(yù)測(cè)，更準(zhǔn)確地預(yù)測(cè)重大活動(dòng)期間的拼車需求或銷售高峰。

通過(guò)結(jié)合這兩種強(qiáng)大的數(shù)據(jù)類型，物聯(lián)網(wǎng)、醫(yī)療保健和物流等行業(yè)正在更深入、更實(shí)時(shí)地了解當(dāng)前發(fā)生的情況和即將發(fā)生的趨勢(shì)，從而做出更明智的決策和更準(zhǔn)確的預(yù)測(cè)。

原文標(biāo)題：??The Evolution of Time-Series Models: AI Leading a New Forecasting Era?，作者：Anais Dotis-Georgiou