谷歌MetNet:秒級別預測的神經網絡天氣模型

準確預測從幾分鐘到幾周後的天氣是一項基礎科學挑戰,會對社會的許多領域產生廣泛的影響。當下,許多氣象機構採用的氣象預報方法都是基於大氣層的一些物理模型,儘管這些模型在過去的幾十年中有了很大的改進,但它們的固有侷限是需要龐大的算力,還需要對控制它們的物理定律有非常接近的估算結果。另一種天氣預報方法能夠克服其中一些限制,那就是使用深度神經網絡(DNN)的方法:DNN無需明確編碼的物理定律,而是發現數據中的模式,並使用功能強大的專用硬件(例如GPU和TPU)執行並行計算,來學習從輸入到期望輸出的複雜轉換。

在我們之前對降水即時預報研究基礎上,我們提出了“MetNet:用於降水預報的神經網絡天氣模型”,這是一種DNN,能夠以2分鐘的間隔和1km的分辨率預測未來8小時內的降水概率。MetNet優於NOAA當前使用的,基於物理定律的最先進模型,可以提供7到8小時的預測時間,並且可以預測美國全境內的天氣,預測耗時只需幾秒鐘(之前的模型需要1小時)。該網絡的輸入自動從雷達站和衛星網絡獲取,無需人工註釋。模型輸出是一個概率分佈,我們用它來推斷每個地理區域最可能的降水概率以及相關的不確定性,下圖提供了該網絡在美國大陸上的預測示例。

MetNet模型預測結果與由NOAA多雷達/多傳感器系統(MRMS)測得的地面真值進行對比。MetNet模型(頂部)顯示了提前2分鐘到480分鐘預測的1mm/hr降水概率,而MRMS數據(底部)顯示了在同一時間段內接收至少1mm/hr降水的區域。

神經網絡天氣模型

MetNet不依賴描述大氣動力學的明確物理定律,而是通過反向傳播學習直接從觀測數據中預測天氣。該網絡使用的降水量估算值是從多雷達或多傳感器系統(MRMS)地面雷達站,以及來自NOAA的地球靜止環境衛星系統的測量值得出的,後者提供了自上而下的大氣層雲圖。兩種數據源都覆蓋了美國大陸,並提供了可通過網絡有效處理的類似圖像的輸入。

該模型以1km分辨率,針對覆蓋全美國的64km乘64km區域執行計算。但是,與這些輸出區域相對應的輸入數據,其實際物理覆蓋範圍要大得多,因爲它必須考慮在預測的時間段內雲層和降水場的可能運動。例如,假設雲層以最高60km/h的速度運動,爲了有效預測未來8小時內的大氣層動態,該模型在所有方向上都需要480km的空間上下文數據。因此,要實現這樣級別的數據覆蓋,需要對1024km乘1024km區域的信息進行預測,才能得出中心64km乘64km區域的結果。

包含衛星和雷達圖像的輸入補丁的大小(大,1024 x 1024km),以及輸出預測的雷達圖像的大小(小,64 x 64km)

由於以全分辨率處理1024km乘1024km的區域需要大量內存,因此我們使用空間降採樣器,它可以減小輸入的空間尺寸以降低內存消耗,同時在輸入中查找並保持相關的天氣模式。然後,我們沿着降採樣後的輸入數據的時間維度應用時間編碼器(由卷積LSTM實現,其非常適合圖像序列),以15分鐘爲間隔對來自前90分鐘輸入數據的七個快照進行編碼。接着將時間編碼器的輸出傳遞到一個空間聚合器,後者使用軸向自注意力來有效捕獲數據中的遠程空間相關性,並根據輸入目標時間提供可變的上下文量,從而對64km乘64km區域輸出預測。

該架構的輸出是離散的概率分佈,其估計了美國大陸上每平方公里的給定降水速率的概率。

神經網絡氣象模型MetNet的架構。輸入的衛星和雷達圖像首先通過空間降採樣器以減少內存消耗。然後,90分鐘的輸入數據以15分鐘的間隔通過一個卷積LSTM來處理。接着使用軸向注意力層使網絡看到輸入圖像整體。

結果

我們根據降水概率預報基準測試對MetNet進行評估,並將結果與​​兩個基線進行了對比,分別是NOAA高分辨率快速刷新(HRRR,https://rapidrefresh.noaa.gov/hrrr/)系統(這是目前在美國運行的天氣預報物理模型),以及一個用來估計降水區域動態(也就是光流)的基線模型,這是一種在預測時間少於2小時的情況下表現良好的方法。

我們的神經網絡天氣模型的一個顯著優勢是針對密集和並行計算進行了優化,非常適合在特殊硬件(例如TPU)上運行。不管是針對特定位置(例如紐約市)還是針對整個美國,它都可以在幾秒鐘內並行輸出預測結果,而諸如HRRR之類的物理模型在超級計算機上的計算時間約爲一個小時。

我們在下圖中量化了MetNet、HRRR和光流基線模型之間的性能差異。在這裏,我們展示了使用F1分數,在1.0mm/h的降水率閾值下評估這三個模型實現的性能對比,該閾值對應的是小雨。MetNet神經天氣模型能夠在8小時內的預測時間內勝過NOAA HRRR系統,並且始終優於基於流量的模型。

在1.0mm/h的降水速率下用F1分數評估性能(越高越好)。在8小時內的預測時間內,神經網絡天氣模型(MetNet)優於目前在美國運行的基於物理的模型(HRRR)。

由於大氣的隨機性,隨着預測時間的延長,關於未來確切天氣狀況的不確定性會增加。因爲MetNet是一個概率模型,所以隨着預測時間的延長,可以在圖像上看到預測結果的波動,也就是不確定性。相反,HRRR並不直接做出概率預測,而是預測單個可能的未來。下圖將MetNet模型的輸出與HRRR模型的輸出進行了比較。

從NOAA MRMS系統檢索到的地面真值(中間),與MetNet(頂部)和HRRR(底部)輸出之間的比較。請注意,儘管HRRR模型預測的結構看起來與地面真值更相似,但其細節可能嚴重錯誤。

HRRR物理模型的預測看起來比MetNet模型的預測更清晰,更結構化,但是由於模型初始條件和參數的不確定性,其結構(特別是預測結構的確切時間和位置)的準確性較差。

HRRR(左)預測了許多可能結果中的單個潛在未來結果(紅色),而MetNet(右)則通過分配未來結果的概率來直接考慮不確定性

這個視頻提供了HRRR與MetNet模型之間更全面的比較:

視頻地址:https://youtu.be/-dAvqroX7ZI

未來發展方向

我們正在積極研究如何改善全球天氣預報能力,尤其是在快速的氣候變化影響最深的地區。雖然我們現在演示的是針對美國大陸的MetNet模型,但也可以將其擴展到可獲得適當雷達和光學衛星數據的任何區域上。此處介紹的工作只是這一計劃的小里程碑,我們希望通過與氣象界的進一步合作來獲得更大改進。

致謝

該項目是與Lasse Espeholt、Jonathan Heek、Mostafa Dehghani、Avital Oliver、Tim Salimans、Shreya Agrawal和Jason Hickey合作完成的。我們還要感謝Manoj Kumar、Wendy Shang、Dick Weissenborn、Cenk Gazen、John Burge、Stephen Hoyer、Lak Lakshmanan、Rob Carver、Carla,Bromberg和Aaron Bell提供的意見,並感謝Tom Small提供的可視化幫助。

原文鏈接:https://ai.googleblog.com/2020/03/a-neural-weather-model-for-eight-hour.html

發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章