給定一段時(shí)期的歷史數(shù)據(jù)，AI能否準(zhǔn)確預(yù)測(cè)天氣變化、電網(wǎng)負(fù)荷需求、交通擁堵狀況？這是個(gè)時(shí)序預(yù)測(cè)問題。阿里巴巴達(dá)摩院近期提出一種長(zhǎng)時(shí)序預(yù)測(cè)的新模型FEDformer，精準(zhǔn)度比業(yè)界最優(yōu)方法提升14.8%以上，模型已應(yīng)用于電網(wǎng)負(fù)荷預(yù)測(cè)。相關(guān)論文已被機(jī)器學(xué)習(xí)頂會(huì)ICML2022收錄。

ICML是機(jī)器學(xué)習(xí)領(lǐng)域的頂級(jí)學(xué)術(shù)會(huì)議，2022年度會(huì)議將于本周日（7月17日）開幕。達(dá)摩院決策智能實(shí)驗(yàn)室的論文《FEDformer: Frequency Enhanced Decomposed Transformer for Long-term Series Forecasting》關(guān)注了機(jī)器學(xué)習(xí)領(lǐng)域的經(jīng)典問題：時(shí)序預(yù)測(cè)。

時(shí)間序列預(yù)測(cè)（Time Series Forecasting），通俗理解就是利用歷史數(shù)據(jù)預(yù)測(cè)未來(lái)信息。預(yù)測(cè)可分為短期、中期和長(zhǎng)期預(yù)測(cè)，需要預(yù)測(cè)的時(shí)間窗口越長(zhǎng)，預(yù)測(cè)難度就越大。這項(xiàng)技術(shù)在氣象、電力、零售、交通等諸多行業(yè)有廣泛應(yīng)用。

傳統(tǒng)的時(shí)序預(yù)測(cè)模型一般采用LSTM、CNN等方法，精準(zhǔn)度和使用場(chǎng)景都較為有限，無(wú)力處理大規(guī)模數(shù)據(jù)。近些年來(lái)，研究人員開始將transformer模型引入長(zhǎng)時(shí)序預(yù)測(cè)，但效果仍不夠理想，簡(jiǎn)單地說(shuō)該模型核心中的注意力機(jī)制模塊對(duì)時(shí)序數(shù)據(jù)不夠敏感。

達(dá)摩院提出的長(zhǎng)時(shí)序預(yù)測(cè)模型FEDformer，融合transformer和經(jīng)典信號(hào)處理方法。比如，利用傅立葉/小波變換將時(shí)域信息拆解為頻域信息，讓transformer更好地學(xué)習(xí)長(zhǎng)時(shí)序中的依賴關(guān)系。FEDformer也能排除干擾，具有更好的魯棒性。其中專門設(shè)計(jì)了周期趨勢(shì)項(xiàng)分解模塊，通過多次分解以降低輸入輸出的波動(dòng)，進(jìn)一步提升預(yù)測(cè)精度。

達(dá)摩院FEDformer模型架構(gòu)

實(shí)驗(yàn)證明，達(dá)摩院新模型在電力、交通、氣象等6個(gè)標(biāo)準(zhǔn)數(shù)據(jù)集上均取得最佳紀(jì)錄，預(yù)測(cè)精準(zhǔn)度較此前業(yè)界最佳模型分別提升14.8%（多變量）和22.6%（單變量）。值得一提的是，該模型已走出實(shí)驗(yàn)室，在區(qū)域電網(wǎng)完成概念驗(yàn)證，明顯提升電網(wǎng)負(fù)荷預(yù)測(cè)準(zhǔn)確率。

達(dá)摩院FEDformer模型在6個(gè)數(shù)據(jù)集均取得最佳紀(jì)錄

據(jù)了解，達(dá)摩院決策智能實(shí)驗(yàn)室旨在用數(shù)學(xué)建模來(lái)解決真實(shí)世界的復(fù)雜問題，其重點(diǎn)研究方向包括時(shí)序預(yù)測(cè)，今年剛在ICASSP'22 AIOps Challenge獲得冠軍?；谧匝械臅r(shí)序預(yù)測(cè)、優(yōu)化求解器MindOpt、安全強(qiáng)化學(xué)習(xí)等底層技術(shù)，達(dá)摩院打造的綠色能源AI，已逐步落地全國(guó)多家電網(wǎng)和發(fā)電企業(yè)，促進(jìn)綠色能源消納和電網(wǎng)安全運(yùn)行。