眾所周知，傳統(tǒng)天氣預(yù)報(bào)的可靠性，多少都有些一言難盡。

最近，DeepMind和谷歌新研究出了一種基于機(jī)器學(xué)習(xí)的天氣模擬器，可以在60秒內(nèi)預(yù)測(cè)10天內(nèi)的天氣，而且準(zhǔn)確率極高！

論文地址：https://arxiv.org/abs/2212.12794

1. GraphCast是一種基于圖神經(jīng)網(wǎng)絡(luò)的自回歸模型，性能優(yōu)于世界上最準(zhǔn)確的機(jī)器學(xué)習(xí)天氣預(yù)報(bào)系統(tǒng)（中期天氣預(yù)報(bào)）；

2. GraphCast只需單臺(tái)Cloud TPU v4設(shè)備，即可在60秒內(nèi)生成10天內(nèi)的天氣預(yù)報(bào)（35GB數(shù)據(jù)），分辨率高達(dá)0.25°；

3. 通過(guò)在更大、更新、質(zhì)量更高的數(shù)據(jù)上進(jìn)行訓(xùn)練，可以進(jìn)一步提升GraphCast預(yù)測(cè)的速度和準(zhǔn)確性。

而在短期天氣預(yù)報(bào)方面，DeepMind曾于2021年9月在Nature上發(fā)文稱，其生成模型能以89%的絕對(duì)優(yōu)勢(shì)吊打其他方法。

中期天氣預(yù)報(bào)為什么那么難

「中期天氣預(yù)報(bào)」通常是指對(duì)未來(lái)于4至10天內(nèi)天氣變化趨勢(shì)的預(yù)報(bào)。其準(zhǔn)確性，對(duì)于農(nóng)業(yè)、建筑業(yè)、旅游業(yè)等行業(yè)的政策制定來(lái)說(shuō)至關(guān)重要。

為此，國(guó)際領(lǐng)先的歐洲中期天氣預(yù)報(bào)中心（ECMWF）， 每天都會(huì)提供多達(dá)四次的中期天氣預(yù)報(bào)。

在中期天氣預(yù)報(bào)的制作過(guò)程中，有兩個(gè)關(guān)鍵的組成部分都需要利用大規(guī)模高性能計(jì)算（HPC）集群進(jìn)行模擬：

• 通過(guò)分析由氣象站、船舶等收集的當(dāng)前和歷史數(shù)據(jù)來(lái)預(yù)測(cè)天氣狀況，也就是「數(shù)據(jù)同化」；
• 通過(guò)數(shù)值天氣預(yù)報(bào)（NWP）系統(tǒng)建立預(yù)測(cè)天氣相關(guān)變量將如何隨時(shí)間變化的模型。

然而，隨著數(shù)據(jù)量的顯著增加，NWP模型卻無(wú)法得到有效的擴(kuò)展。

也就是說(shuō)，雖然現(xiàn)在有大量的天氣和氣候觀測(cè)檔案，但我們卻很難直接利用這些數(shù)據(jù)來(lái)提高預(yù)報(bào)模型的質(zhì)量。

而改進(jìn)NWP的方法，一般是由訓(xùn)練有素的專家手動(dòng)創(chuàng)造更好的模型、算法和近似值，這個(gè)過(guò)程耗時(shí)耗力，成本高昂。

相比之下，基于機(jī)器學(xué)習(xí)方法可以利用更多、更高質(zhì)量的可用數(shù)據(jù)來(lái)提高模型的準(zhǔn)確性，而且計(jì)算預(yù)算通常要低得多。

GraphCast

在論文「GraphCast：中期全球天氣準(zhǔn)確預(yù)報(bào)學(xué)習(xí)」中，DeepMind以「編碼-處理-解碼」的方式使用圖神經(jīng)網(wǎng)絡(luò)（GNN）來(lái)創(chuàng)建一個(gè)自回歸模型。

GraphCast的三階段模擬過(guò)程如下：

1. 使用從網(wǎng)格點(diǎn)到多網(wǎng)格的有向邊的GNN，將原始經(jīng)緯度網(wǎng)格的輸入數(shù)據(jù)映射到多網(wǎng)格上的學(xué)習(xí)特征中；

2. 一個(gè)深度GNN被用來(lái)在多網(wǎng)格上進(jìn)行學(xué)習(xí)的信息傳遞，其中長(zhǎng)距離的邊允許信息在空間上有效傳播；

3. 解碼器將最終的多網(wǎng)格表示映射回經(jīng)緯度網(wǎng)格，并執(zhí)行任何必要的操作。

研究結(jié)果顯示，GraphCast的性能在252個(gè)變量中，有99.2%超過(guò)了現(xiàn)有最準(zhǔn)確的機(jī)器學(xué)習(xí)天氣預(yù)報(bào)模型；在2760個(gè)變量中，有90%超過(guò)了歐洲氣象中心的高精度預(yù)報(bào)（ECMWF HRES Forecast）。

(a) 輸入的天氣狀態(tài)是在高分辨率的緯度-經(jīng)度-氣壓層網(wǎng)格上確定的。

(b) GraphCast預(yù)測(cè)天氣的下一個(gè)狀態(tài)是緯度-經(jīng)度-壓力級(jí)網(wǎng)格。

(c) 通過(guò)迭代地將GraphCast應(yīng)用于每個(gè)先前的預(yù)測(cè)狀態(tài)，以產(chǎn)生一連串的狀態(tài)，將天氣表示為連續(xù)的提前量。

(d) GraphCast架構(gòu)的編碼器組件將輸入的局部區(qū)域（綠色方框）映射到多網(wǎng)格圖的節(jié)點(diǎn)。

(e) 處理器組件使用所學(xué)的消息傳遞來(lái)更新每個(gè)多網(wǎng)格節(jié)點(diǎn)。

(f) 解碼器組件將經(jīng)過(guò)處理的多網(wǎng)格特征（紫色節(jié)點(diǎn)）映射到網(wǎng)格表示上。

ERA5數(shù)據(jù)集

GraphCast在39年（1979年-2018年）歷史天氣數(shù)據(jù)的語(yǔ)料庫(kù)上進(jìn)行了訓(xùn)練，即ECMWF的ERA5再分析數(shù)據(jù)集。

模型以6小時(shí)的時(shí)間步長(zhǎng)，在0.25°經(jīng)緯度分辨率下，對(duì)5個(gè)地表變量和6個(gè)大氣變量進(jìn)行10天的預(yù)測(cè)，每個(gè)變量在37個(gè)垂直壓力層上，代表了特定地點(diǎn)和時(shí)間的天氣狀態(tài)。

如圖1a所示，研究人員將時(shí)間指數(shù)t處的天氣狀態(tài)表示為。

環(huán)繞地球的網(wǎng)格對(duì)應(yīng)每個(gè)緯度、經(jīng)度和壓力級(jí)別的變量。表面和大氣變量分別由放大視圖中的黃色和藍(lán)色框表示。

我們將中對(duì)應(yīng)于特定網(wǎng)格點(diǎn)??（總共有1,038,240個(gè)）的變量子集稱為，并將227個(gè)目標(biāo)變量中的每個(gè)變量??稱為。

生成預(yù)測(cè)

GraphCast 將兩個(gè)天氣狀態(tài)作為輸入，它們分別對(duì)應(yīng)當(dāng)前時(shí)間t，和前一個(gè)時(shí)間t-1，并預(yù)測(cè)下一個(gè)時(shí)間步長(zhǎng)的天氣狀態(tài)（如圖1b所示）。

為了生成T-step預(yù)測(cè)，GraphCast以自回歸方式迭代上圖的等式，將自己的預(yù)測(cè)作為輸入，來(lái)預(yù)測(cè)后面的步長(zhǎng)（即，預(yù)測(cè)步長(zhǎng)t+2，輸入為；預(yù)測(cè)步長(zhǎng) t + 3，輸入為?。

圖1b、c描述了這個(gè)過(guò)程。

架構(gòu)

GraphCast的核心架構(gòu)在「編碼-處理-解碼」配置中使用GNN，如圖1d、e、f所示。

基于GNN的學(xué)習(xí)模擬器在學(xué)習(xí)流體和其他材料的復(fù)雜物理動(dòng)力學(xué)方面非常有效，因?yàn)樗鼈兊谋硎竞陀?jì)算結(jié)構(gòu)類似于有限元學(xué)習(xí)求解器。

GNN的一個(gè)關(guān)鍵優(yōu)勢(shì)是，輸入圖的結(jié)構(gòu)決定了表示的哪些部分通過(guò)學(xué)習(xí)的消息傳遞相互交互，從而允許在任何范圍內(nèi)進(jìn)行任意模式的空間交互。

相比之下，卷積神經(jīng)網(wǎng)絡(luò) (CNN) 僅限于計(jì)算局部patch內(nèi)的交互（或者，在擴(kuò)張卷積的情況下，有規(guī)律地跨越更長(zhǎng)的范圍）。

而Transformer雖然也可以完成任意的遠(yuǎn)程計(jì)算，但是在輸入非常大的情況下，它們不能很好地?cái)U(kuò)展（要知道，GraphCast的全局輸入中有超過(guò)100萬(wàn)個(gè)網(wǎng)格點(diǎn)），因?yàn)橛?jì)算中all-to-all的交互，會(huì)引起很復(fù)雜的二次記憶。

Transformer的當(dāng)代延伸通常會(huì)稀疏化可能的交互，以降低復(fù)雜性，這使它們實(shí)際上類似于GNN。

通過(guò)引入GraphCast的內(nèi)部多網(wǎng)格表示，研究人員利用GNN的能力，模擬了任意稀疏的交互方式。

它在全局范圍內(nèi)具有均勻的空間分辨率，并允許在少數(shù)消息傳遞步長(zhǎng)內(nèi)進(jìn)行長(zhǎng)距離互動(dòng)。

要構(gòu)造一個(gè)多網(wǎng)格，首先要將一個(gè)常規(guī)的二十面體（12個(gè)節(jié)點(diǎn)和20個(gè)面）迭代6次，得到一個(gè)二十面體網(wǎng)格的層次結(jié)構(gòu)，在最高分辨率下共有40,962個(gè)節(jié)點(diǎn)和81,920個(gè)面。

因?yàn)榇志W(wǎng)格節(jié)點(diǎn)是細(xì)網(wǎng)格節(jié)點(diǎn)的子集，研究人員能夠?qū)⒕W(wǎng)格層次結(jié)構(gòu)中的各級(jí)邊緣，疊加到最小分辨率的網(wǎng)格上。

這個(gè)過(guò)程產(chǎn)生了一個(gè)多尺度的網(wǎng)格集，粗邊在多個(gè)尺度上彌合了長(zhǎng)距離，細(xì)邊捕捉了局部的相互作用。

圖1g顯示了每個(gè)單獨(dú)的細(xì)化網(wǎng)格，而圖1e顯示了完整的多網(wǎng)格。

使用具有從網(wǎng)格點(diǎn)到多網(wǎng)格的定向邊的GNN，GraphCast的編碼器（圖1d）首先將原始經(jīng)緯度網(wǎng)格的輸入數(shù)據(jù)，映射為多網(wǎng)格上的學(xué)習(xí)特征。

然后，處理器（圖1e）使用一個(gè)16層的深度GNN，在多網(wǎng)格上進(jìn)行學(xué)習(xí)的信息傳遞，由于長(zhǎng)距離的邊緣，信息可以在空間上被有效傳播。

然后，解碼器（圖1f）使用具有定向邊緣的GNN，將最終的多網(wǎng)格表示映射回經(jīng)緯度網(wǎng)格，并將該網(wǎng)格表示?????+??與輸入狀態(tài)?????+??相結(jié)合，形成輸出預(yù)測(cè)，?????+??+1 = ?????+?? + ????? +??。

訓(xùn)練過(guò)程

GraphCast被訓(xùn)練成在12步預(yù)測(cè)（3天）中對(duì)ERA5目標(biāo)進(jìn)行目標(biāo)函數(shù)最小化，使用的是梯度下降法。

目標(biāo)函數(shù)如下——

研究人員使用批處理并行技術(shù)，在32臺(tái)Cloud TPU v4設(shè)備上花了大約3周時(shí)間對(duì)GraphCast進(jìn)行了訓(xùn)練。

為了減少內(nèi)存占用，研究人員還使用了復(fù)雜的梯度檢查點(diǎn)策略和低精度的數(shù)值。

結(jié)果

結(jié)果顯示，GraphCast在0.25°分辨率的10天預(yù)報(bào)中，全面超越了HRES天氣預(yù)報(bào)技術(shù)。

如圖4所示，GraphCast（藍(lán)線）在10個(gè)主要地表和大氣變量上，都明顯優(yōu)于HRES（黑線）。

此外，研究人員通過(guò)區(qū)域分析表明，這些結(jié)果在整個(gè)地球上是一致的。

根據(jù)評(píng)估的結(jié)果，GraphCast在2760個(gè)變量、等級(jí)和前置時(shí)間（4個(gè)地表變量，加上5個(gè)大氣變量×13個(gè)等級(jí)，歷時(shí)10天，每天4個(gè)步長(zhǎng)）中的90.0%表現(xiàn)優(yōu)于HRES。

研究人員表示，HRES在高層大氣級(jí)別上的表現(xiàn)往往比GraphCast好，特別是壓力級(jí)別50hPa，這并不奇怪，因?yàn)閼?yīng)用于50hPa或以下壓力級(jí)別的總訓(xùn)練損失權(quán)重只占所有變量和級(jí)別總損失權(quán)重的0.66%。

當(dāng)排除50hPa水平時(shí)，GraphCast在2240個(gè)目標(biāo)中優(yōu)于HRES的百分比為96.6%；當(dāng)排除50和100hPa水平時(shí)，1720個(gè)目標(biāo)中的百分比為99.2%。

第1行顯示ERA5，第2行顯示HRES，第3行顯示GraphCast，第4行和第5行分別是HRES和HRES-fc0、GraphCast和ERA5之間的誤差絕對(duì)值圖。底部的圖顯示了HRES和GraphCast的RMSE水平。

msl的真實(shí)和預(yù)測(cè)的天氣狀態(tài)

自回歸訓(xùn)練對(duì)預(yù)測(cè)的影響

當(dāng)用較少的自回歸步長(zhǎng)訓(xùn)練時(shí)，模型在較短的前置時(shí)間內(nèi)表現(xiàn)較好，而在較長(zhǎng)的前置時(shí)間內(nèi)表現(xiàn)較差。

隨著自回歸步數(shù)的增加，在較短的前置時(shí)間內(nèi)性能變差，但在較長(zhǎng)的前置時(shí)間內(nèi)性能變好。

GraphCast與頂級(jí)ML預(yù)測(cè)模型的性能比較

目前，基于ViT的Pangu-Weather代表了基于ML的天氣預(yù)報(bào)的最新水平，其計(jì)算模式與GNN相似。

GraphCast與Pangu-Weather的對(duì)比結(jié)果如圖8所示。第1行和第3行顯示GraphCast（藍(lán)線）、Pangu-Weather（紅線）、HRES對(duì)HRES-fc0的評(píng)價(jià)（黑線）和HRES對(duì)ERA5的評(píng)價(jià)的絕對(duì)RMSE；第2行和第4行顯示各模型之間相對(duì)于Pangu-Weather的歸一化RMSE差分。

總結(jié)一下

GraphCast模型在10天的預(yù)報(bào)中，在6小時(shí)步長(zhǎng)和0.25°經(jīng)緯度分辨率下，超過(guò)了目前最精確的確定性系統(tǒng)——ECMWF的HRES。

針對(duì)2760個(gè)變量、壓力等級(jí)和前置時(shí)間的組合進(jìn)行評(píng)估的結(jié)果顯示，GraphCast模型在90.0%的指標(biāo)上比HRES的RMSE低。

當(dāng)排除了100hPa及以上的高層大氣場(chǎng)時(shí)，GraphCast在1760個(gè)目標(biāo)中的99.2%表現(xiàn)優(yōu)于HRES。

此外，在252個(gè)目標(biāo)中，GraphCast有99.2%超過(guò)了之前最好的ML基線——Pangu-Weather。

GraphCast的一個(gè)關(guān)鍵創(chuàng)新是其新穎的「多網(wǎng)格」表征方法，這使得它能夠捕捉到比傳統(tǒng)的NWP方法更長(zhǎng)的空間互動(dòng)，從而支持更粗的原始時(shí)間步長(zhǎng)。

這就是為什么GraphCast可以在一個(gè)Cloud TPU v4設(shè)備上以6小時(shí)為單位在60秒內(nèi)生成準(zhǔn)確的10天天氣預(yù)報(bào)的部分原因。