現(xiàn)代數(shù)值天氣預(yù)報(bào)（numerical weather prediction, NWP）可以追溯到 1920 年代。當(dāng)今，數(shù)值天氣預(yù)報(bào)已經(jīng)無(wú)處不在，并且為交通、物流、農(nóng)業(yè)和能源生產(chǎn)等關(guān)鍵部門(mén)的經(jīng)濟(jì)規(guī)劃做出了貢獻(xiàn)。準(zhǔn)確的天氣預(yù)報(bào)通過(guò)提前通知極端事件挽救了無(wú)數(shù)人的生命。

過(guò)去幾十年，天氣預(yù)報(bào)的質(zhì)量一直在穩(wěn)步提高。最早的單點(diǎn)動(dòng)態(tài)建模數(shù)值天氣預(yù)報(bào)是由英國(guó)科學(xué)家 Lewis Fry Richardson 在 1922 年使用計(jì)算尺和對(duì)數(shù)表計(jì)算得出的，并用六周時(shí)間計(jì)算出 6 小時(shí)（6-hour）的大氣預(yù)報(bào)。到了 1950 年代，早期的電子計(jì)算機(jī)極大地提高了預(yù)測(cè)速度，使得運(yùn)行預(yù)測(cè)的計(jì)算速度足夠快，從而有助于未來(lái)天氣預(yù)測(cè)。除了更好的計(jì)算能力之外，通過(guò)更深入地了解小尺度過(guò)程的物理特性和更高質(zhì)量的大氣觀測(cè)，來(lái)更好地參數(shù)化小尺度過(guò)程，從而改進(jìn)天氣預(yù)報(bào)效果。

與 SOTA NWP 模型相比，數(shù)據(jù)驅(qū)動(dòng)的深度學(xué)習(xí)模型在成本上低了數(shù)個(gè)量級(jí)，因此現(xiàn)在研究人員越來(lái)越有興趣開(kāi)發(fā)這類(lèi)方法來(lái)預(yù)測(cè)天氣。許多研究都試圖通過(guò)建立數(shù)據(jù)驅(qū)動(dòng)的模型來(lái)預(yù)測(cè)大氣的規(guī)模環(huán)流，并且要么在氣候模型輸出、大氣環(huán)流模型（GCM）、再分析產(chǎn)品，或者結(jié)合氣候模型輸出和再分析產(chǎn)品進(jìn)行訓(xùn)練。數(shù)據(jù)驅(qū)動(dòng)的模型通過(guò)克服 NWP 模型中存在的模型偏差，以及通過(guò)以較低的計(jì)算成本生成用于概率預(yù)測(cè)和數(shù)據(jù)同化的大型集合，因而在改進(jìn)天氣預(yù)報(bào)方面具有巨大潛力。

大多數(shù)據(jù)驅(qū)動(dòng)的天氣模型使用低分辨率數(shù)據(jù)來(lái)訓(xùn)練，通常是 Rasp and Thuerey [2021b]中的 5.625° 分辨率或者 Weyn et al. [2020] 中的 2° 分辨率。這些先驗(yàn)嘗試在預(yù)測(cè)一些粗粒度、低分辨率大氣變量方面取得了很好的效果。然而，粗化過(guò)程會(huì)導(dǎo)致關(guān)鍵的細(xì)粒度物理信息的丟失。要使數(shù)據(jù)驅(qū)動(dòng)模型真正具有影響力，它們生成的預(yù)報(bào)的分辨率必須與當(dāng)前 SOTA 數(shù)值天氣模型相同或更高，分辨率大約在 0.1°。

在近日的一篇論文中，英偉達(dá)、勞倫斯伯克利國(guó)家實(shí)驗(yàn)室、密歇根大學(xué)安娜堡分校、萊斯大學(xué)等機(jī)構(gòu)的研究者開(kāi)發(fā)了一種基于傅里葉的神經(jīng)網(wǎng)絡(luò)預(yù)測(cè)模型 FourCastNet，它能以 0.25° 的分辨率生成關(guān)鍵天氣變量的全球數(shù)據(jù)驅(qū)動(dòng)預(yù)測(cè)，相當(dāng)于赤道附近大約 30×30 km 的空間分辨率和 720×1440 像素的全球網(wǎng)格大小。這使得我們首次能夠與歐洲中期天氣預(yù)報(bào)中心（ECMWF）的高分辨率綜合預(yù)測(cè)系統(tǒng)（IFS）模型進(jìn)行直接比較。

論文地址：
?https://arxiv.org/pdf/2202.11214.pdf?

FourCastNet 在節(jié)點(diǎn)小時(shí)（node-hour）基礎(chǔ)上比傳統(tǒng) NWP 模型快約 45,000 倍。FourCastNet 這種數(shù)量級(jí)的加速以及在高分辨率下前所未有的準(zhǔn)確性，使得它能夠以很低的成本生成超大規(guī)模集合預(yù)測(cè)。FourCastNet 極大地改善了概率天氣預(yù)報(bào)的效果，使用它可以在幾秒鐘內(nèi)生成對(duì)颶風(fēng)、大氣層河流和極端降水等事件的大規(guī)模集合預(yù)報(bào)，從而可以實(shí)現(xiàn)更及時(shí)、更明智的災(zāi)難響應(yīng)。

此外，F(xiàn)ourCastNet 對(duì)近地表風(fēng)速的可靠、快速和低廉預(yù)測(cè)可以改善陸海風(fēng)電場(chǎng)的風(fēng)能資源規(guī)劃。訓(xùn)練 FourCastNet 所需的能量大約等于使用 IFS 模型生成 10 天預(yù)測(cè)所需的能量（50 個(gè)成員）。然而，一旦經(jīng)過(guò)訓(xùn)練，F(xiàn)ourCastNet 生成預(yù)測(cè)所需的能量比 IFS 模型少 12,000 倍。研究者希望 FourCastNet 只訓(xùn)練一次，并且后續(xù)微調(diào)的能耗可以忽略不計(jì)。

在實(shí)現(xiàn)技術(shù)上，F(xiàn)ourCastNet 使用基于傅里葉變換的token混合方法 [Guibas et al., 2022] 和ViT骨干 [Dosovitskiy et al., 2021]。這一方法基于最近的的傅里葉神經(jīng)算子，該算子以分辨率不變的方式學(xué)習(xí)，并在建模流體動(dòng)力學(xué)等具有挑戰(zhàn)性的偏微分方程中取得了成功。此外，他們選擇 ViT 骨干的原因是它能夠很好地建模長(zhǎng)程依賴(lài)。ViT 和基于傅里葉的 token 方法混合生成了 SOTA 高分辨率模型，它可以解析細(xì)粒度的特征，并能夠很好地隨分辨率和數(shù)據(jù)集大小擴(kuò)展。研究者表示，這一方法能夠以真正前所未有的高分辨率訓(xùn)練高保真數(shù)據(jù)驅(qū)動(dòng)的模型。

訓(xùn)練模型

歐洲中期天氣預(yù)報(bào)中心（ECMWF）提供了一個(gè)公開(kāi)可用的綜合數(shù)據(jù)集 ERA5，該研究使用 ERA5 來(lái)訓(xùn)練 FourCastNet。他們專(zhuān)注于兩個(gè)大氣變量，即（1）距離地球表面 10m 處的風(fēng)速和（2）6 小時(shí)總降水量，除此以外，該研究還預(yù)測(cè)了其他幾個(gè)變量，包括幾個(gè)不同垂直高度的位勢(shì)高度、溫度、風(fēng)速和相對(duì)濕度，一些近地表變量，如地面氣壓和平均海平面氣壓以等。

FourCastNet模型

為了生成高分辨率預(yù)測(cè)，研究采用自適應(yīng)傅里葉神經(jīng)算子 (Adaptive Fourier Neural Operator，AFNO) 模型。這種神經(jīng)網(wǎng)絡(luò)架構(gòu)專(zhuān)為高分辨率輸入而設(shè)計(jì)，并將深度學(xué)習(xí)（DL）最新關(guān)鍵進(jìn)展綜合到一個(gè)模型中。也就是說(shuō)，F(xiàn)ourCastNet 結(jié)合了 傅里葉神經(jīng)算子 (FNO) ，該方法已被證明在建模具有挑戰(zhàn)性的 PDE 系統(tǒng)方面表現(xiàn)良好，并且還具有強(qiáng)大的 ViT 主干。

目前，研究者已經(jīng)提出了幾種降低計(jì)算復(fù)雜度的 ViT 變體，然而，AFNO 模型的獨(dú)特之處在于它將混合操作構(gòu)建為連續(xù)的全局卷積，在傅里葉域中通過(guò) FFT 有效實(shí)現(xiàn)，這允許靈活且可擴(kuò)展地建?？缈臻g和通道維度的依賴(lài)關(guān)系。通過(guò)這樣的設(shè)計(jì)，空間混合復(fù)雜度降低到 O(N log N)，其中 N 是圖像 patch 或 token 的數(shù)量。這種縮放使 AFNO 模型非常適合 0.25° 分辨率的高分辨率數(shù)據(jù)，以及進(jìn)行未來(lái)更高分辨率的研究。

模型的計(jì)算流程：首先將 720 × 1440 lat-lon 網(wǎng)格上的輸入變量投影到 patch 的 2D 網(wǎng)格 (h × w)（patch大小為 p × p，例如 p = 8），每個(gè) patch 表示為一個(gè) d 維 token。然后，將 patch 序列連同位置編碼一起饋送到一系列 AFNO 層。

訓(xùn)練

該研究主要關(guān)注預(yù)測(cè)地表風(fēng)速和降水，但復(fù)雜的大氣系統(tǒng)包含多個(gè)變量之間的強(qiáng)非線(xiàn)性相互作用，例如溫度、地面氣壓、濕度、從地球表面到平流層的水分含量等。為了模擬這些相互作用，該研究選擇了一些變量（表 1）來(lái)表示大氣的瞬時(shí)狀態(tài)。

該研究將 ERA5 數(shù)據(jù)集分為三組，即訓(xùn)練、驗(yàn)證和測(cè)試數(shù)據(jù)集。訓(xùn)練數(shù)據(jù)集由 1979 年至 2015 年的數(shù)據(jù)組成，驗(yàn)證數(shù)據(jù)集包含 2016 年和 2017 年的數(shù)據(jù)，測(cè)試數(shù)據(jù)集包含 2018 年及以后的數(shù)據(jù)。

該研究使用張量 X(k?t) 表示變量，其中k為時(shí)間指數(shù)，?t 為訓(xùn)練數(shù)據(jù)集中連續(xù)快照之間的時(shí)間間隔，研究將 ERA5 數(shù)據(jù)集視為真值，用 X_true(k?t) 表示真值變量，?t 固定在 6 小時(shí)。訓(xùn)練包括預(yù)訓(xùn)練和微調(diào)兩個(gè)階段：

• 預(yù)訓(xùn)練階段，采用訓(xùn)練數(shù)據(jù)集以有監(jiān)督的方式訓(xùn)練 AFNO 模型，使其學(xué)習(xí)從 X(k) 到 X(k + 1) 的映射；
• 微調(diào)階段，該研究從之前訓(xùn)練好的模型開(kāi)始對(duì)模型進(jìn)行優(yōu)化，即模型首先從輸入 X(k) 生成輸出 X(k + 1)，然后模型使用輸出 X(k + 1) 作為輸入，并生成輸出 X(k + 2)。通過(guò)比較 X(k + 1) 和 X(k + 2) 與訓(xùn)練數(shù)據(jù)中各自的真值來(lái)計(jì)算訓(xùn)練損失，并使用這兩個(gè)訓(xùn)練損失的總和來(lái)優(yōu)化模型。

整個(gè)訓(xùn)練過(guò)程是在 64 個(gè) Nvidia A100 GPU 的集群上完成，端到端訓(xùn)練大約需要 16 小時(shí)。

降水模型

ERA5 re-analysis 數(shù)據(jù)集中的總降水量（total precipitation，TP）是一個(gè)變量，表示通過(guò)降雨和降雪落到地球表面的累積液態(tài)和冰凍水。該研究將總降水量作為診斷變量，并用 p(kΔt) 表示。用于訓(xùn)練主干模型的數(shù)據(jù)集（20 個(gè)變量）不包括總降水量這個(gè)變量。相反，研究者訓(xùn)練一個(gè)單獨(dú)的 AFNO 模型 ，使用主干模型輸出來(lái)診斷 T P，如圖 2(c) 所示。這種方法將降水建模的困難與預(yù)測(cè)大氣狀態(tài)的一般任務(wù)脫離。此外，一旦經(jīng)過(guò)訓(xùn)練，診斷 TP 模型可能會(huì)與其他預(yù)測(cè)模型（傳統(tǒng)的 NWP 或數(shù)據(jù)驅(qū)動(dòng)的預(yù)測(cè)）結(jié)合使用。

用于從主干輸出診斷降水的模型具有相同的基本 AFNO 架構(gòu)，此外還具有額外的 2D 卷積層和 ReLU 激活，用于強(qiáng)制執(zhí)行非負(fù)降水輸出。由于主干模型以 6 小時(shí)為增量進(jìn)行預(yù)測(cè)，因此該研究訓(xùn)練診斷降水模型來(lái)預(yù)測(cè) 6 小時(shí)累積的總降水量。

實(shí)驗(yàn)結(jié)果

下圖1定性地展示了 FourCastNet 模型以 0.25°-lat-long 的分辨率預(yù)測(cè)全球地表風(fēng)速的能力。其中，使用風(fēng)速的緯向和經(jīng)向分量計(jì)算地表風(fēng)速的大小，即

。
下圖1顯示了使用FourCastNet生成的提前96小時(shí)的說(shuō)明性全球近地表風(fēng)速預(yù)測(cè)。研究者重點(diǎn)介紹了預(yù)測(cè)的已解析和準(zhǔn)確跟蹤的關(guān)鍵高分辨率細(xì)節(jié)，包括超級(jí)臺(tái)風(fēng)山竹（Mangkhut，2018年）和向美國(guó)東海岸進(jìn)發(fā)的三個(gè)命名氣旋（Florence、Issac和Helene）。

其中，圖 1(a) 顯示了模型初始化時(shí)的風(fēng)速。圖 1(b) 顯示了提前 96 小時(shí)的模型預(yù)測(cè)（上）和當(dāng)時(shí)相應(yīng)的真實(shí)風(fēng)速（下）?？梢钥吹?，F(xiàn)ourCastNet 模型能夠提前 96 個(gè)小時(shí)預(yù)測(cè)風(fēng)速，并且具有出色的保真度和正確的精細(xì)尺度（fine-scale）特征。

值得注意的是，圖1說(shuō)明了一個(gè)名為山竹的超級(jí)臺(tái)風(fēng)的形成和軌跡的預(yù)測(cè)情況，該臺(tái)風(fēng)在大約 10° N、210° W 的初始位置開(kāi)始形成。該模型以驚人的保真度定性地預(yù)測(cè)了該臺(tái)風(fēng)的增強(qiáng)及其在 4 天內(nèi)的軌跡。這表明 FourCastNet 模型能夠很好地預(yù)測(cè)臺(tái)風(fēng)等天氣現(xiàn)象的形成和移動(dòng)軌跡。

該研究使用來(lái)自樣本外測(cè)試數(shù)據(jù)集的初始條件初始化 FourCastNet 模型?；诖顺跏紬l件，模型可以在推理模式下自由運(yùn)行 16 個(gè)時(shí)間步長(zhǎng)，如下圖 2(d) 所示。

相比于臺(tái)風(fēng)，降水存在間歇性和隨機(jī)性，因此預(yù)測(cè)降水被認(rèn)為是一項(xiàng)極其困難的任務(wù)。下圖 3 展示了 FourCastNet 模型預(yù)測(cè)全球總降水量的能力。圖 3(a) 為初始化的降水條件，圖 3(b) 是提前 36 個(gè)小時(shí)的模型預(yù)測(cè)和實(shí)際情況的對(duì)比。該圖以美國(guó)西海岸局部區(qū)域的降水為例，突出了 FourCastNet 模型以極高的精度解析和預(yù)測(cè)局部降水的能力。研究者觀察到 FourCastNet 在捕獲短期高分辨率降水特征方面性能出色，這對(duì)預(yù)測(cè)極端天氣事件具有重大意義。值得注意的是，這是第一次成功利用深度學(xué)習(xí)模型進(jìn)行大規(guī)模降水預(yù)測(cè)。

接下來(lái)，研究者進(jìn)一步探討了開(kāi)發(fā)深度學(xué)習(xí)模型來(lái)預(yù)測(cè)颶風(fēng)的潛在效用。颶風(fēng)作為一種具有巨大破壞潛力的極端天氣事件。構(gòu)建快速可用、計(jì)算成本低廉的大氣預(yù)警模型對(duì)于減輕生命和財(cái)產(chǎn)損失損失非常重要，同時(shí)這類(lèi)模型也需要更嚴(yán)格的要求以避免錯(cuò)誤預(yù)測(cè)。下圖 4 展示了 FourCastNet 在預(yù)測(cè)迅速多變的颶風(fēng)方面的強(qiáng)大能力。

除了臺(tái)風(fēng)和降水，F(xiàn)ourCastNet 模型還能夠預(yù)測(cè)大氣層河流（ atmospheric river）的形成和演變。下圖5顯示了一個(gè)于 2018 年 4 月最終登陸北加州海岸線(xiàn)的大氣層河流的預(yù)測(cè)情況。

此外，F(xiàn)ourCastNet 在量化技巧方面也有很大的優(yōu)勢(shì)，比 IFS 更佳。對(duì)于 ACC 和 RMSE 兩項(xiàng)指標(biāo)，F(xiàn)ourCastNet 在更短的時(shí)間（約 48 小時(shí)或更短）內(nèi)獲得了比 IFS 更好的性能。并且 FourCastNet 僅使用了 IFS 模型完整變量集的一部分，并且計(jì)算成本也低了很多。

集成是數(shù)值天氣預(yù)測(cè)的重要組成部分，F(xiàn)ourCastNet 使用大型集成帶來(lái)的性能提升如下圖所示。

感興趣的讀者可以閱讀論文原文，了解更多研究細(xì)節(jié)。