August 18, 2022

DeepMind 再次麻木,AI 天氣預報到達氣象站:1 GPU 1 秒預測 1 小時天氣


近日,北方下起了大雨。

對於那些從未見過雨的北方人來說,他們往往感到驚訝。

沒有什麼“初步經驗”可以學習,所以這時候只能靠天氣預報了!

在贏得圍棋和星際爭霸等遊戲後,DeepMind 即將挑戰一個全新的項目——天氣預報。

在過去的幾年裡,DeepMind 一直在悄悄地與英國氣象局合作。 最近發表在《自然》雜誌上的一篇論文展示了這一結果。

簡而言之,DeepMind 設計了一種新的機器學習模型,可以預測未來幾個小時內是否會下雨。

https://www.nature.com/articles/s41586-021-03854-z

結果表明,DeepMind 的深度生成模型可以提供更好的預測質量、預測一致性和預測價值。該模型在 1,536 公里 x 1,280 公里的區域內生成了真實且一致的時間和空間預測,前置時間為 5 到 90 分鐘。

通過對 50 多位氣象專家的系統評估,DeepMind 的生成模型在準確性和實用性上位居第一,比其他兩種競爭方法有 89% 的絕對優勢,名列前茅。

短期天氣預報

今天的天氣預報是由強大的數值天氣預報 (NWP) 系統驅動的。通過求解物理方程,數值天氣預報系統將在幾天前獲得全球預測。但是,很難在 2 小時內做出高分辨率預測。

實時預測可在此關鍵時間間隔彌補性能差距。氣象探測的進步使高分辨率雷達能夠提供高頻測量的地面降水數據(每 5 分鐘一次,分辨率為 1 公里)。

最後 20 分鐘的觀測雷達將用於提供接下來 90 分鐘的概率預測。

現有的短期天氣預報方法,如 STEPS 和 PySTEPS,使用 NWP 方法來解釋不確定性,但使用雷達信息根據對流方程對降水進行建模。

在這些模型中,運動場是通過光流估計的,平滑懲罰被用來近似平流預測,隨機擾動被添加到運動場和強度模型中。這些隨機模擬可以在各種空間尺度上生成概率和確定性預測(公里根據集水區的大小進行縮放)。

基於深度學習的方法不必依賴對流方程。通過大量雷達觀測數據訓練這些模型,可以更好地模擬對流發生、強降水等非線性降水現象。這種類型的方法直接預測每個網格位置的降水,並且已經開發了用於確定性和隨機預測的模型。

當降水場變得越來越模糊並且不包括小天氣模式時,當前深度學習系統發布的預測顯示出不確定性。而且,現有方法側重於預測特定位置,而不是預測整個降水場的概率,無法同時提供跨多個時空集的一致預測結果,實用性有限。 ..

為此,DeepMind 開發了一種使用深度生成模型 (DGMR) 進行概率預測的觀察驅動方法。 DGMR 是訓練數據概率分佈的統計模型,可以很容易地從訓練分佈中生成樣本。由於生成模型基本上是隨機的,您可以模擬來自特定歷史雷達條件分佈的許多樣本以生成預測集。此外,DGMR 不僅可以從觀測數據中學習,還可以表示多個時空尺度上的不確定性。

實時預測生成模型

DeepMind 使用模型生成方法根據過去的雷達對未來的雷達進行詳細而可靠的預測。這種方法使您能夠準確地捕獲大規模事件並生成許多替代降雨情景(稱為集合預報),從而使您能夠調查降雨的不確定性。

DeepMind 的模型在預測中到大雨事件方面也非常出色,這是對其他競爭方法的顯著改進。 據 DeepMind 稱,與廣泛使用的預測方法相比,來自國家氣象局(Met Office)的 50 多位專業氣象學家在評估認知任務後對 89% 的案例進行了專業化處理,該公司將 DeepMind 的方法評為首選。

生成法 (DGMR) 比對流法 (PySTEPS) 更準確地捕獲環流、強度和結構,並且更準確地預測東北部的降雨和遷移。與確定性深度學習 (UNet) 不同,DGMR 還產生敏銳的預測。

與平流法 (PySTEPS) 相比,產生法 (DGMR) 平衡了降水的強度和範圍。與確定性深度學習 (UNet) 相比,平流方法通常過於強大且不那麼模糊。

在給定的時間點 T,基於雷達的表面降水估計 XT 用於預測給定 M 過去雷達場中的 N 個潛在隨機未來雷達場。向量Z、參數θ和等式如下。

潛變量積分確保模型所做的預測是空間相關的。訓練是在用於預測降水的條件生成對抗網絡 (GAN) 算法的框架內進行的。 四次連續的雷達觀測(最後 20 分鐘)被用作發生器的背景,以每個 18 幀(90 分鐘)對未來降水的多個實現進行採樣。

DGMR 可以更好地預測空間覆蓋和隨時間的對流,而不會高估強度。

一種。模型結構示意圖; b.預報的地理背景; c.不同模型提前T+30、T+60和T+90分鐘的單一預測。

訓練由兩個損失函數和一個正則化項驅動,並通過將實際雷達觀測數據與模型生成的數據進行比較來指導參數調整。

初始損失由空間鑑別器定義。這是一個卷積神經網絡,用於區分單個觀測雷達場和生成的雷達場,確保空間一致性並防止模棱兩可的預測。 第二個損失由時間鑑別器定義。這是一個三維 (3D) 卷積神經網絡,用於區分觀察到的和生成的雷達序列、施加時間一致性並懲罰跳躍預測。提一下微動為了確保准確性,DeepMind 引入了一個正則化項來懲罰實際雷達序列與模型預測平均值(在多個樣本上計算)之間的網格單元分辨率偏差。

最後,DeepMind 在生成器中引入了一個完全卷積的潛在模塊,允許預測大於訓練期間使用的大小的降水場,同時保持時間和空間的一致性。

DeepMind 在 2016 年至 2018 年間英國雷達記錄的大量降水事件數據集上訓練了 DGM。它在訓練後 1 秒內提供預測,並且可以在單個 NVIDIA V100 GPU 上運行。

與其他流行的預測方法(包括機器學習模型)相比,DeepMind 的 DGM 更真實,並且與 5 到 90 分鐘的前置時間保持一致,在長達 1,536 公里 x 1,280 公里的區域內生成預測。

結果評估

當使用 CSI 進行比較時,所有三個深度學習系統產生的預測都比 PySTEPS 基線準確得多。使用每兩周作為配對排列測試的獨立單位來評估統計顯著性,我們發現 DGMR 對所有降水閾值的影響都比 PySTEPS (n = 26, P). <10-4) 更好。

一種。 20 個樣本的 CSI,降水閾值分別為 1 mm/h(左)、4 mm/h(中)、8 mm/h(右)。 灣 2019 年 T + 30 分鐘(左)和 T + 90 分鐘所有模式(中和右)的預測徑向平均功率譜密度。

從上圖中的b可以看出,DGMR和PySTEPS的光譜特徵與觀測一致,但軸向注意力和UNet模型生成的預測顯示中小尺度降水有變化和減少交貨時間。

軸向注意力和 UNet 臨近預報的有效分辨率遠低於數據的 1km x 1km 分辨率,因為它們會產生模棱兩可的預測。 在 T+90 分鐘時,UNet 的有效分辨率為 32 公里,軸向注意力的有效分辨率為 16 公里,降低了這些預測對氣象學家的價值。

對於概率驗證,下圖 b 顯示了聚集在越來越大的區域中的平均和最大降水量的 CRPS。在網格分辨率級別測量時,DGMR、PySTEPS 和軸向注意力的行為相似。

隨著空間積累的增加,DGMR 和 PySTEPS 提供持續而強大的性能,並且 DGMR 在最大降水時表現更好。軸向注意力模型在焦點區域較大的情況下明顯更差,並且在 4 及以上的尺度上,其性能低於所有其他方法。以每兩週為一個獨立單位,配對排列測試表明,DGMR 和軸向注意溫度選擇之間的性能差異很重要。

網格分辨率(左)、4km 集(中)和 16km 集(右)的 CRPS 分數

一種。使用平均降雨量的總 CRPS。 灣使用總 CRPS 以獲得最大降雨量。

與其他方法相比,生成方法優於現有的 STEPS 預測方法(在 CSI 中),提供更準確的概率預測,並在空間和時間尺度上保留了降水的統計特性,但其他深度學習方法成本高昂。

此外,DeepMind 還進行了經濟和認知分析,這表明 DGMR 可以增加決策的價值。

虛線代表 Clopper-Pearson 95% 置信區間。與其他方法相比,氣象學家顯然更喜歡 DGMR。

學術界似乎並不買賬

但除了這 50 位專家之外,其他科學家並不相信這些結果。

英國雷丁大學氣象學家彼得克拉克說:我在這裡預測中沒有革命。依靠主觀評價來證明模型的有效性只會讓人感到困惑。 “我仍然對我沒有選擇客觀分數感到驚訝。關於如何進行評估或實際評估的詳細說明很少,”他說。

在本文中,DeepMind 也沒有提供新模型與現有模型相比在準確性方面的具體改進的數據。作為回應,DeepMind 高級科學家和論文作者 Shakir Mohamed 說:“我想採取這種更謹慎的方法,而不是報告數字。”

雷丁大學的氣象學家羅布·湯普森說:類似,也許好一點,但也不算太遠。”

DeepMind 的成員表示他們沒有計劃在短期內使用它,但團隊希望最終使用這個模型為未來的天氣預報提供真實信息。

也就是說,天氣預報員會被解僱嗎?

研究科學家、DeepMind 論文的作者 Suman Ravuri 表示,它不會在這一領域取代人類。預測是合理的,並將其傳達給公眾。 ”

參考

https://www.nature.com/articles/s41586-021-03854-z

https://deepmind.com/blog/article/nowcasting

https://www.wired.co.uk/article/deepmind-weather-nowcasting

這篇文章來自微信民眾《新石本》(ID:AI_era),作者:辛志遠,編輯:Hao sleepy,允許36次Crypton發布。

本文允許發表,不代表36氪立場。

轉載請註明出處。來源:36氪



新聞來源: yahoo