清華&中國氣象局大模型登Nature:解決世界級難題,「鬼天氣」預(yù)報時效首次達3小時
真·“未雨綢繆”,清華大學(xué)「鬼天氣」預(yù)報大模型來了!
是能破解世界未解難題的那種——
公里尺度下0~3小時極端降水都能預(yù)報。
包括短時強降水、暴風(fēng)雨、暴雪、冰雹等在內(nèi)的極端降水天氣,都能做到提前預(yù)警。
圖片
完成這項研究可實屬不易。
清華大學(xué)軟件學(xué)院與國家氣象中心、國家氣象信息中心合作,聯(lián)合攻關(guān)三年才提出這個名為NowcastNet的極端降水臨近預(yù)報大模型,并用了近六年的雷達觀測資料完成了模型的訓(xùn)練。
在全國62位氣象預(yù)報專家的過程檢驗中,該方法大幅領(lǐng)先國際上的同類方法,研究成果現(xiàn)已登Nature。
圖片
目前,NowcastNet已經(jīng)在國家氣象中心短臨預(yù)報業(yè)務(wù)平臺(SWAN 3.0)部署上線,將為全國極端降水天氣短臨預(yù)報業(yè)務(wù)提供支撐。
那么極端降水的臨近預(yù)報為什么這么難?清華團隊又是如何解決這一難題的?
為什么被列為科學(xué)難題?
近年來,受全球氣候變化影響,極端降水天氣頻發(fā),實現(xiàn)更準(zhǔn)確、更精細(xì)和更長預(yù)警提前量的降水臨近預(yù)報成為人們的關(guān)注點。
由于極端降水天氣過程大多只持續(xù)幾十分鐘且空間尺度在幾公里范圍,受到對流、氣旋、地形等復(fù)雜過程和大氣系統(tǒng)混沌效應(yīng)的影響較為嚴(yán)重。
而基于物理方程模擬的數(shù)值預(yù)報技術(shù)很難對公里尺度的極端降水做出有效預(yù)報。
因此,在今年5月27日世界氣象組織峰會上,三小時內(nèi)降水臨近預(yù)報就被列為了未解決的重要科學(xué)難題之一。
△基于雷達觀測的降水臨近預(yù)報是世界性難題之一
此前也有預(yù)測極端降水天氣的方法。
數(shù)值計算和深度學(xué)習(xí)就是降水臨近預(yù)報的兩類主流方法,但均存在明顯的缺陷:
數(shù)值計算方法難以有效建模降水過程的時空多尺度特征,同時受到預(yù)報累積誤差的制約,預(yù)報時效往往在一小時以內(nèi)。
深度學(xué)習(xí)方法雖然擅長建模非線性系統(tǒng),但統(tǒng)計模型存在固有的小樣本過平滑問題,預(yù)報求解過程缺少物理守恒規(guī)律約束,生成的數(shù)值場模糊失真嚴(yán)重,難以提供有業(yè)務(wù)價值的極端降水預(yù)報。
臨近預(yù)報大模型NowcastNet
針對上述挑戰(zhàn),2017年起,清華大學(xué)軟件學(xué)院王建民教授、龍明盛副教授團隊就與國家氣象中心、國家氣象信息中心建立研究團隊,就人工智能技術(shù)在氣象大數(shù)據(jù)的應(yīng)用開展合作。
經(jīng)過三年聯(lián)合攻關(guān),提出了臨近預(yù)報大模型NowcastNet,并在美國和中國近六年雷達觀測資料上完成了訓(xùn)練。
該模型的核心是端到端建模降水物理過程的神經(jīng)演變算子,實現(xiàn)了深度學(xué)習(xí)與物理規(guī)律的無縫融合。
△物理建模與深度學(xué)習(xí)融合的臨近預(yù)報大模型NowcastNet
具體而言,研究團隊首先設(shè)計了中尺度演變網(wǎng)絡(luò),用以建模平流運動等物理性質(zhì)更顯著的中尺度降水過程,并基于物質(zhì)連續(xù)性方程(即質(zhì)量守恒定律)設(shè)計了神經(jīng)演變算子,端到端模擬降水過程中的十公里尺度運動,并通過反向傳播最小化預(yù)報累積誤差。
其次,研究團隊提出了對流尺度生成網(wǎng)絡(luò),以中尺度演變網(wǎng)絡(luò)預(yù)測結(jié)果為條件,通過概率生成模型進一步捕捉對流生消等混沌效應(yīng)更顯著的公里尺度降水過程。
得益于上述融合設(shè)計,該模型兼具深度學(xué)習(xí)與物理建模的優(yōu)勢,在國際上首次將降水臨近預(yù)報的時效延長至3小時(上文提到,此前數(shù)值計算方法通常在1小時內(nèi)),并彌補了極端降水預(yù)報的短板。
為了充分檢驗臨近預(yù)報大模型NowcastNet對典型天氣過程的業(yè)務(wù)指導(dǎo)價值,國家氣象中心邀請了62位來自23個省市氣象臺的一線預(yù)報專家,針對中美兩國2400個極端降水過程進行了后驗檢驗和先驗檢驗,并與目前業(yè)務(wù)中使用的方法進行了對比。
其中,pySTEPS是一種基于平流的方法,是目前世界各地氣象中心所廣泛采用的預(yù)報系統(tǒng)。PredRNN是一種數(shù)據(jù)驅(qū)動的神經(jīng)網(wǎng)絡(luò),已在中國氣象局部署。而DGMR是由谷歌DeepMind與英國氣象局聯(lián)合提出的模型。
所有模型都在美國和中國降水事件的大型雷達數(shù)據(jù)集上進行訓(xùn)練和測試。
圖片
△氣象專家檢驗結(jié)果和數(shù)值指標(biāo)評測結(jié)果,CSI用于衡量預(yù)報的位置準(zhǔn)確性;PSD用于衡量預(yù)報的頻譜特征與雷達觀測的降水變化性之間的比較。
正如上圖所示,NowcastNet在臨界成功指數(shù)(CSI)、能量譜密度(PSD)等數(shù)值指標(biāo)上全面超越現(xiàn)有技術(shù),在71%的天氣過程中被認(rèn)為具有最高的預(yù)報價值。
在極端降水過程中,NowcastNet是唯一展現(xiàn)較強業(yè)務(wù)價值的臨近預(yù)報技術(shù)。
以中美兩國的典型極端天氣過程為例:
2021年5月14日23時40分,中國江淮地區(qū)出現(xiàn)強降水過程,湖北、安徽等多個地區(qū)發(fā)布了暴雨紅色預(yù)警,NowcastNet可以準(zhǔn)確預(yù)測出三個強降水超級單體的變化過程。
圖片
△a. 預(yù)測的地理信息、b. 不同模型在T+1小時、T+2小時和T+3小時上的預(yù)測結(jié)果、c. CSI是一種用于評估預(yù)測準(zhǔn)確性的指標(biāo)
2021年12月11日9時30分,美國中部地區(qū)突發(fā)龍卷風(fēng)災(zāi)害,造成89人死亡、676人受傷,NowcastNet可以對強降水的強度、落區(qū)和運動形態(tài)等給出更清晰、更準(zhǔn)確的預(yù)報結(jié)果。
圖片
檢驗表明,NowcastNet對于極端災(zāi)害天氣的精準(zhǔn)防控具有良好的指導(dǎo)意義。
目前,該研究成果以“高技巧極端降水臨近預(yù)報大模型”(Skilful Nowcasting of Extreme Precipitation with NowcastNet)為題發(fā)表在《自然》(Nature)上,同時被《自然·新聞和觀點》以“The Outlook for AI Weather Prediction”為題做了報道。
研究人員認(rèn)為:
該研究探索了數(shù)據(jù)驅(qū)動與物理驅(qū)動的“科學(xué)學(xué)習(xí)”新范式,提出了物理守恒約束下時空物質(zhì)場建模和預(yù)測的一般方法,對其他具有多尺度物理特性的問題也具有應(yīng)用前景。
他們還表示:
未來將進一步推進該方案在物理問題求解、大氣海洋模擬、工業(yè)設(shè)計仿真等場景下的應(yīng)用。
團隊信息
清華大學(xué)軟件學(xué)院王建民教授、龍明盛副教授,以及機器學(xué)習(xí)泰斗、加州大學(xué)伯克利分校教授、清華大學(xué)榮譽教授Michael I. Jordan為論文的通訊作者。
清華大學(xué)軟件學(xué)院博士生張育宸和龍明盛副教授為論文的第一作者,碩士生陳凱源、邢藍翔參加了研究工作。
國家氣象中心金榮花研究員提供了氣象知識和數(shù)據(jù)支持并主持了全國范圍內(nèi)氣象專家檢驗工作,羅兵、張小玲、薛峰、盛杰、韓豐、張小雯等專家為研究工作提供了指導(dǎo)、建議和幫助。
研究得到國家自然科學(xué)基金創(chuàng)新研究群體項目、優(yōu)秀青年科學(xué)基金項目和大數(shù)據(jù)系統(tǒng)軟件國家工程研究中心的支持。
論文鏈接:https://www.nature.com/articles/s41586-023-06184-4