AI預(yù)測極端天氣提速5000倍！微軟發(fā)布Aurora，借AI之眼預(yù)測全球風(fēng)暴
自人類有歷史以來，就一直執(zhí)著于預(yù)測天氣，以各種方式破解「天空之語」，我們慢慢發(fā)現(xiàn)，草木、云層似乎都與天氣有關(guān)，這不僅僅是因為人類從事生產(chǎn)的需要，也是人類想要對著大風(fēng)歌唱、在月光下吟詩的需要。
《冰與火之歌》中的風(fēng)雨歌師，就是通過歌聲和吟唱來預(yù)測天氣和風(fēng)暴，人們還會幻想擁有「改變天氣」的超能力。
后來，有了氣象專家和天氣預(yù)報，可我們始終還是不能脫離具身體驗和物理世界，但現(xiàn)在，AI讓情況起了變化。
微軟發(fā)布首個大規(guī)模大氣基礎(chǔ)模型Aurora，能夠從數(shù)據(jù)中學(xué)習(xí)并做出預(yù)測，展現(xiàn)出了驚人的準(zhǔn)確率和效率。
變化不僅僅是一家公司帶來的，而是全球性的。
世界頂尖的數(shù)值天氣預(yù)報組織——歐洲中期天氣預(yù)報中心維護的一個極其豐富的數(shù)據(jù)集，給AI天氣預(yù)報提供了強有力的數(shù)據(jù)支撐。
在未來，或許無需物理學(xué)，一臺計算機就可以捕捉全球的「風(fēng)云變幻」。
影響不止于此，如果我們已經(jīng)可以用AI預(yù)測全球天氣，「建模」地球還會遠(yuǎn)嗎？
微軟發(fā)布首個大規(guī)模大氣基礎(chǔ)模型
全球極端天氣事件頻發(fā)，在突如其來的風(fēng)暴面前，人類顯得尤為渺小。
總是讓人措手不及的極端天氣，暴露了當(dāng)前天氣預(yù)報模型的局限性，并凸顯了在氣候變化面前進行更準(zhǔn)確預(yù)報的必要性。
一個緊迫的問題出現(xiàn)了：我們?nèi)绾尾拍芨玫仡A(yù)測此類極端天氣事件并做好準(zhǔn)備？
Charlton Perez等人最近的一項研究強調(diào)，即使是最先進的人工智能天氣預(yù)測模型，在捕捉風(fēng)暴的快速增強和峰值風(fēng)速方面也面臨挑戰(zhàn)。
為了幫助應(yīng)對這些挑戰(zhàn)，微軟的一個研究團隊開發(fā)了Aurora，Aurora意為「極光」，這是一個尖端的人工智能基礎(chǔ)模型，可以從大量的大氣數(shù)據(jù)中提取有價值的見解。
圖片
論文地址：https://www.microsoft.com/en-us/research/publication/aurora-a-foundation-model-of-the-atmosphere/
Aurora提供了一種新的天氣預(yù)報方法，可以改變我們預(yù)測和減輕極端事件影響的能力。
靈活的3D大氣基礎(chǔ)模型
圖片
在預(yù)訓(xùn)練時，Aurora會進行優(yōu)化，以便在具有不同分辨率、變量和壓力水平的多個異構(gòu)數(shù)據(jù)集上最大限度地減少損失。分兩個階段對模型進行微調(diào)：(1) 短時間內(nèi)對預(yù)訓(xùn)練的權(quán)重進行微調(diào)；(2) 使用低秩自適應(yīng)性（LoRA）進行長前置時間（rollout）微調(diào)。微調(diào)后的模型將用于處理不同分辨率的各種業(yè)務(wù)預(yù)報情況
雖然參數(shù)量只有1.3B，但Aurora在超過一百萬小時的各種天氣和氣候模擬中進行了訓(xùn)練，這使它能夠全面了解大氣動力學(xué)。
因此，即使在數(shù)據(jù)稀缺地區(qū)或極端天氣情況下，該模型也能出色地完成各種預(yù)測任務(wù)。
通過在0.1°（赤道約 11 公里）的高空間分辨率下運行，Aurora能夠捕捉大氣過程的復(fù)雜細(xì)節(jié)，提供比以往任何時候都更加準(zhǔn)確的業(yè)務(wù)預(yù)報，而計算成本僅為傳統(tǒng)數(shù)值天氣預(yù)報系統(tǒng)的一小部分。
據(jù)研究人員估計，與數(shù)值預(yù)報系統(tǒng)界的SOTA——綜合預(yù)報系統(tǒng)（Integrated Forecasting System，IFS）相比，Aurora的計算速度提高了約5000倍。
除了令人驚嘆的準(zhǔn)確性和效率之外，Aurora還以其多功能性而脫穎而出。
該模型可以預(yù)測廣泛的大氣變量，從溫度、風(fēng)速到空氣污染水平和溫室氣體濃度。
Aurora的架構(gòu)設(shè)計可處理異構(gòu)黃金標(biāo)準(zhǔn)輸入，并生成不同分辨率和保真度級別的預(yù)測。
該模型由一個靈活的3D Swin Transformer和基于Perceiver的編碼器和解碼器組成，能夠處理和預(yù)測一系列跨空間和壓力級別的大氣變量。
通過對大量不同數(shù)據(jù)的預(yù)訓(xùn)練和對特定任務(wù)的微調(diào)，Aurora學(xué)會了捕捉大氣中錯綜復(fù)雜的模式和結(jié)構(gòu)，使其在針對特定任務(wù)進行微調(diào)時，即使訓(xùn)練數(shù)據(jù)有限也能表現(xiàn)出色。
快速預(yù)測大氣化學(xué)和空氣污染
圖片
Aurora在許多目標(biāo)上都優(yōu)于運行中的CAMS：(a) 與CAMS分析相比，Aurora預(yù)測的二氧化氮柱總量樣本；(b) Aurora相對于CAMS 的緯度加權(quán)均方根誤差（RMSE），負(fù)值（藍(lán)色）表示 Aurora 更好
由于大氣化學(xué)、天氣模式和人類活動之間復(fù)雜的相互作用，以及哥白尼大氣監(jiān)測服務(wù)（CAMS）數(shù)據(jù)的高度異構(gòu)性，這是一項眾所周知的艱巨任務(wù)。
Aurora利用其靈活的編碼器-解碼器架構(gòu)和關(guān)注機制，有效地處理和學(xué)習(xí)這些具有挑戰(zhàn)性的數(shù)據(jù)，捕捉空氣污染物的獨特特征及其與氣象變量的關(guān)系。
這使得Aurora能夠以0.4°的空間分辨率生成精確的五天全球空氣污染預(yù)報，在74%的所有目標(biāo)上都優(yōu)于最先進的大氣化學(xué)模擬，證明了它在解決各種環(huán)境預(yù)報問題方面的卓越適應(yīng)性和潛力，即使在數(shù)據(jù)稀少或高度復(fù)雜的情況下也是如此。
數(shù)據(jù)多樣性和模型縮放改善了大氣預(yù)報
研究還發(fā)現(xiàn)，與在單一數(shù)據(jù)集上進行的訓(xùn)練相比，在不同數(shù)據(jù)集上進行的預(yù)訓(xùn)練能顯著提高Aurora的性能。
通過整合氣候模擬、再分析產(chǎn)品和業(yè)務(wù)預(yù)測的數(shù)據(jù)，Aurora可以學(xué)習(xí)到更強大、更通用的大氣動力學(xué)表征。
正是由于其規(guī)模和多樣化的預(yù)訓(xùn)練數(shù)據(jù)集，Aurora能夠在各種任務(wù)和分辨率下超越最先進的數(shù)值天氣預(yù)報模型和專門的深度學(xué)習(xí)方法。
圖片
圖片
圖片
在不同數(shù)據(jù)上進行預(yù)訓(xùn)練并擴大模型規(guī)?？商岣咝阅埽Ｐ痛笮∶吭黾右槐?，訓(xùn)練損失就會減少5%
Aurora規(guī)?；苯訋淼氖?，無論是在架構(gòu)設(shè)計和訓(xùn)練數(shù)據(jù)語料庫，還是預(yù)訓(xùn)練和微調(diào)協(xié)議方面，其性能都優(yōu)于最好的專業(yè)深度學(xué)習(xí)模型。
為了進一步驗證在多個數(shù)據(jù)集上預(yù)訓(xùn)練大型模型進行微調(diào)的收益，微軟團隊將Aurora與GraphCast進行了比較，后者僅在ERA5上進行了預(yù)訓(xùn)練，目前被認(rèn)為是分辨率為0.25度、預(yù)測時間長達(dá)五天的最熟練的人工智能模型。
此外，研究人員還將IFS HRES（數(shù)值天氣預(yù)報的黃金標(biāo)準(zhǔn)）也納入了比較范圍。
結(jié)果表明，在與分析、氣象站觀測和極端值進行比較時，Aurora 的表現(xiàn)都要優(yōu)于GraphCast和IFS HRES。
圖片
圖片
圖片
在絕大多數(shù)目標(biāo)上，Aurora的性能都優(yōu)于GraphCast
地球系統(tǒng)建模的范式轉(zhuǎn)變
Aurora的影響遠(yuǎn)遠(yuǎn)超出了大氣預(yù)報。
通過展示基礎(chǔ)模型在地球科學(xué)中的力量，這項研究為開發(fā)涵蓋整個地球系統(tǒng)的綜合模型鋪平了道路。
基礎(chǔ)模型能夠在數(shù)據(jù)稀缺的情況下出色地完成下游任務(wù)，這將使數(shù)據(jù)稀缺地區(qū)（如發(fā)展中國家和極地地區(qū)）獲取準(zhǔn)確天氣和氣候信息的途徑更加民主化。
這將對農(nóng)業(yè)、交通、能源采集和備災(zāi)等部門產(chǎn)生深遠(yuǎn)影響，使社區(qū)能夠更好地適應(yīng)氣候變化帶來的挑戰(zhàn)。
無需物理學(xué)？AI天氣預(yù)報進展巨大
變化來得太快，就像龍卷風(fēng)，天氣預(yù)報界正在經(jīng)歷重大變革。
最終的目標(biāo)是革命性的：運用基于AI的新方法，在桌面計算機上就可以運行天氣預(yù)報！
在過去的18個月里，天氣預(yù)報成為了一個最有前途的AI應(yīng)用，最近的進展在氣象學(xué)界引起了巨大反響。
這要歸功于一個秘密武器：一個極其豐富的數(shù)據(jù)集。
歐洲中期天氣預(yù)報中心（ECMWF），世界頂尖的數(shù)值天氣預(yù)報組織，維護著一套關(guān)于大氣、陸地和海洋天氣的數(shù)據(jù)集，每天在全球各地每隔幾個小時記錄一次，數(shù)據(jù)可以追溯到1940年。
圖片
特別是過去50年的數(shù)據(jù)，在全球衛(wèi)星覆蓋之后，尤其豐富。這個數(shù)據(jù)集被稱為ERA5，并且是公開可用的。
ERA5并非專門為人工智能應(yīng)用而創(chuàng)建，但ERA5卻為人工智能天氣應(yīng)用的發(fā)展發(fā)揮了巨大作用。
計算機科學(xué)家直到2022年才真正開始認(rèn)真使用這些數(shù)據(jù)來訓(xùn)練人工智能模型，以預(yù)測天氣。
從那時起，這項技術(shù)取得了突飛猛進的發(fā)展。在某些情況下，這些模型的輸出結(jié)果已經(jīng)優(yōu)于科學(xué)家們花費數(shù)十年時間設(shè)計和建立的全球天氣模型，而且運行那些模型還需要一些世界上最強大的超級計算機。
歐洲氣象中心ECMWF人工智能預(yù)報工作負(fù)責(zé)人Matthew Chantry在接受采訪時表示，「很明顯，機器學(xué)習(xí)是未來天氣預(yù)報的重要組成部分。」
ECMWF正在招聘人才來開發(fā)基于機器學(xué)習(xí)的地球系統(tǒng)模擬
AI天氣預(yù)報的起源
大約6年前，一些使用基于神經(jīng)網(wǎng)絡(luò)的深度學(xué)習(xí)技術(shù)進行天氣預(yù)報的早期學(xué)術(shù)研究就開始了。
起初，計算機科學(xué)家們對這一方法是否奏效并不十分樂觀，因為它與幾十年來發(fā)展起來的天氣預(yù)報科學(xué)大相徑庭。
時間來到2022年，人們才稍微放下了對AI模型的懷疑。
先是物理學(xué)家和數(shù)據(jù)科學(xué)家Ryan Keisler，利用「圖神經(jīng)網(wǎng)絡(luò)」展示了一些初步的成果。
圖片
論文地址：https://arxiv.org/abs/2202.07575
隨后，中國科學(xué)家提出的「Pangu-Weather」模型，直接登上了Nature。
結(jié)果顯示，它在某些情況下甚至超過了當(dāng)今最強的基于物理的模型——ECMWF。
圖片
論文地址：https://www.nature.com/articles/s41586-023-06185-3
這在使用深度學(xué)習(xí)技術(shù)和天氣建模的科學(xué)家社區(qū)中引起了震動。
很快，歐洲科學(xué)家開始基于其他深度學(xué)習(xí)模型的研究成果制作一個操作模型，這并沒有花費太長時間。
到去年年底，新的人工智能綜合預(yù)報系統(tǒng)（AIFS）已經(jīng)產(chǎn)生了「非常有希望」的結(jié)果。今年春天，歐洲預(yù)報員開始發(fā)布實時預(yù)報。
目前，基于物理的天氣模型依然不可或缺。它們是非常強大的工具，顯著提高了我們對重大事件進行五天、七天甚至偶爾十天天氣預(yù)報的能力，受到全球預(yù)報員的信賴。
但未來會是什么樣子呢？可能在十年之后，AI將會掌管天氣領(lǐng)域的一切。
參考資料：
