摘要:人工智能如今已经渗透到人类生产生活的方方面面,天气预报也不例外。12月5日,《Nature》刊登了谷歌开发的基于人工智能技术的天气预报模型(即气象大模型)——GenCast,这是自我国华为盘古气象大模型之后又一登上《Nature》正刊的气象大模型。
人工智能如今已经渗透到人类生产生活的方方面面,天气预报也不例外。12月5日,《Nature》刊登了谷歌开发的基于人工智能技术的天气预报模型(即气象大模型)——GenCast,这是自我国华为盘古气象大模型之后又一登上《Nature》正刊的气象大模型。问题来了:用上人工智能的天气预报和传统天气预报的区别在哪里?它能代替传统的天气预报吗?在了解气象大模型之前,我们有必要了解一下传统的天气预报原理——数值天气预报。数值天气预报方法起源于20世纪初。1904年,挪威的科学家Bjerknes首次提出了通过求解描述大气运动变化的数学物理方程来预知未来的天气,但是当时受限于计算能力而无法实现。1922年,英国的气象学家Richardson组织大量人力,仅靠纸和笔在6个星期的时间内完成了6个小时的数值天气预报。到了1950年,美国气象学家Charney和Rossby等人终于借助电子计算机花了一天时间完成了未来24小时的数值天气预报。而随着超级计算机的发展,现阶段气象学家已经可以做到在几小时内作出未来半个月的数值天气预报。
全世界多个气象机构也发展出自己的数值天气预报模型,例如欧洲中期天气预报中心(ECMWF)的综合预报系统(IFS),美国国家环境预报中心(NCEP)的全球预报系统(GFS),德国国家气象服务机构(DWD)的全球数值天气预报和气候建模系统(ICON),以及我国气象局(CMA)开发的数值预报系统葡萄模式(GRAPES)等等。
ECMWF传统数值预报在12月16日预报48小时后的欧亚地区500hpa高度的气压场及其距平(图片来源:ECMWF)
数值天气预报的具体工作原理为:根据气象探测仪器(卫星,飞机,船舶,气象站,探空气球等)从大气中采集到的实际数据整合为网格化的数据作为大气初始场,在一定的初值和边值条件下,通过超级计算机作数值计算,求解描写天气演变过程的大气流体力学和热力学的偏微分方程组,然后得出未来一定时段的大气运动状态并不断持续演进。这种传统的数值模式属于物理驱动模型,建立在人类对大气过程本质的了解之上。
尽管数值天气预报已经发展成熟并为天气预报作出了巨大贡献,但是其仍然有很多局限性难以解决,最关键就是系统误差的累积与不确定性问题。由于大气系统是典型的非线性混沌系统,其对初始条件高度敏感。即便现阶段大气观测数据的质量和覆盖范围有所提升,但是初始条件的微小误差仍可能导致预报结果在长时间尺度下出现巨大偏离。
非线性混沌系统中的混沌现象(图片来源:MIT)
其次就是数值天气预报需要超级计算机夜以继日的计算,尤其是对于高空间和时间分辨率的预报模型,计算资源的需求随着分辨率提高呈指数关系增长。当前数值预报模型依赖于大规模高性能计算集群和海量内存,需要耗费巨大成本维持。而且由于计算量大,往往每次预报的时间都长达几个小时。最后一点就是现有数值预报模型一般仅使用当前时刻的观测数据作为输入,而忽略了大量历史观测数据的潜在价值。这些历史数据蕴含了丰富的大气状态变化信息,尤其对于某些极端天气事件的预报,可能会提供更加全面的背景信息。气象大模型的诞生
近年来人工智能蓬勃发展、深度学习技术不断进步,科学家发现人工智能对于数据的学习建模可以运用到气象预测方面,气象大模型应运而生。
ECMWF官网中的盘古气象大模型业务
气象大模型的核心是基于数据驱动的深度学习算法。利用强大的计算能力、巨量历史数据训练和各种深度学习架构,气象大模型能够快速预测20-25km分辨率的常规气象要素场以及台风路径、极端天气、近地面风场、降水等关键信息。深度学习模型能够在未知实际物理过程及方程的前提下,基于图形处理器 (GPU)从海量的训练数据中自动挖掘潜在规律,从而实现天气的精确预报。除了上文提到的进入《Nature》正刊的华为盘古大模型、谷歌GraphCast模型以外,还有英伟达FourCastNet模型、微软ClimaX模型、复旦大学伏羲大模型、上海人工智能实验室“风乌”GHR大模型、清华大学和中国气象局的NowcastNet预报大模型等等。而华为的盘古大模型已经在欧洲中期天气预报中心(ECMWF)实现业务运行,此外作为全世界最先进的天气预报机构,ECMWF也发布了大模型AIFS。
主流气象大模型参数(图片来源:参考文献[2])
气象大模型相较于传统数值天气预报,首先就解决了上面提到的传统数值预报的第三个问题:无法有效利用历史观测数据。气象大模型正是从大量的历史观测数据中获得有用的潜在规律来实现未来的模式预报的。主流气象大模型训练通常是使用的是ERA5数据,也就是ECMWF对1950年1月至今全球气候的第五代大气再分析数据集。气象大模型解决的第二个问题便是计算时间和算力。气象大模型在计算时间上大幅领先传统数值模型,例如盘古大模型仅需数秒即可完成全球7天的高分辨率数值气象预报,这比传统方法快了近万倍;GenCast在8分钟内即可生成未来15天的天气预测,也比传统方法快得多。气象大模型的计算成本也非常低,只要配备了具有一定计算能力的GPU,你甚至可以在自己的电脑上运行模型、预测天气,无需成本惊人的超级计算机。
使用家用GPU,通过GenCast在12月23日预测十天后欧亚地区500hpa高度气压场和距平(图片来源:作者提供)
气象大模型的优势如此多,那么对于天气预报最关键的性能——准确性,它能和传统数值天气预报相比吗?实际上,在很多方面不仅可以,还能有所超越。原理上,气象大模型寻找历史数据在时间滞后格点的联系,并做卷积、链接计算并建立运算网络映射,这使其能淡化掉一部分的边界问题,从而得到收敛的解并输出,规避掉了一开始由理想的物理数学条件约束的边界条件。而传统的数值预报模式设置了较为理想的物理条件,误差在迭代过程中反而会被放大。以热带气旋为例,盘古气象大模型比传统的数值预报EC-IFS HRES得出了更准确的气旋跟踪结果。下图展示了2019年西太平洋最强台风(康妮和玉兔)的跟踪结果。对于这两个强台风,HRES的预报结果均出现了较大偏差:相较而言,盘古气象大模型能够提前48小时以上对这两个台风做出正确的路径预报。
盘古气象大模型对于2018年两个台风预测和ECMWF传统数值模型的比较(图片来源:参考文献[5])
而在对去年的台风“杜苏芮”的预报中,盘古气象大模型更是一战成名,较传统数值模型更为提前预测出台风穿过巴士海峡登陆闽南地区的路径。在今年对我国影响较大的台风“格美”和“摩羯”的路径预测中,各类气象大模型的表现也显著优于传统数值模型。《Nature》发表的最新研究成果也显示,GenCast在97%的预测结果中比传统的集合预报系统(ENS)更准确,在预测极端高温或寒冷天气,以及大风、热带气旋路径等方面也表现得更好。
那么气象大模型发展到现在这个阶段,能代替传统数值天气预报了吗?答案仍然是不能。气象大模型依然存在很多难题有待解决。第一,深度学习模型通常是“黑盒”模型,对于具体的物理化学过程,模型并没有详细给出解释,这会使得其预测只具有统计学含义,难以对预报结果提供气象领域所需的可解释依据。气象大模型缺乏足够的数学理论分析,所以无法取代具有现有的具有物理过程推算能力的模式,而针对可解释性的神经网络架构和相应的数学分析工具仍然具有较大的探索空间。第二,大模型的训练数据集不完备和不平衡的问题。在气象预报中,不同天气现象间的数据量的大小、数据分布的密集程度和数据质量的好坏都对 大模型的性能和准确性产生重要影响。因此模型本身的数据源具有很大的粗糙度导致了模型只适合做大致落区、位置的推算,精度上还有待考量。第三,气象大模型是在再分析数据上进行训练和测试的,但实际的预报系统需要建立在观测数据之上,且这些数据源之间可能存在差异,这导致了预测结果的不同,例如EAR5在东亚的再分析数据和历史真实情况之间是有出入的,这可能导致最终的预测结果仍然不够准确。而且大部分模型都使用EAR5数据集进行训练,模型与模型之间的差别很弱,局地的可预报性变差。第四,气象大模型会产生更加平滑的预报结果,并且无法理解全球变暖在最近几年导致的影响,这两方面增加了其低估极端气象事件强度的风险。在姚凯等研究员检验盘古气象大模型在东北地区强降水、系统性大风、高温等典型高影响天气过程的预报效果中,就指出盘古气象大模型在2023年典型天气过程极端性方面表现不足。第五,模型的优点在于大气中层的环流趋势,数据集当中的低空层面较为有限且受个别因素影响较大,所以自然而然模型对于大尺度过程(中等台风、温带气旋位置、副高边缘切变雨带、槽前雨带等)具有良好的推算能力,但是并不能很好地解决局地对流天气的产生机理的演算;而在季节预测方面,由于数据的有限和气候的快速变化,气象大模型也存在束手无策的方面。第六,虽然气象大模型在预测未来方面较传统数值天气预报有很大的计算能耗优势,但是大规模气象大模型的训练过程需要庞大的计算资源,在这方面的计算成本方面相较于传统数值并无明显优势。目前,无论是气象大模型还是传统数值预报方法都尚有较大改进空间。未来,大模型可以通过增加更多的垂直层次和大气变量、更好地整合时间维度、使用更深和更宽的网络、或者增加训练时长,以此来进一步提高性能。这些研究均需要具有更大内存和更高 FLOPS(每秒浮点运算数)的GPU集群,这也正是当前人工智能的发展趋势。因此在可预见的未来,人工智能方法并不是代替传统的数值预报方法,而是和它深度融合,演化出更强大的数值气象预报系统。参考文献:
[1] 王嫄,霍鹏,韩毅,等.基于深度学习的气象预报模型研究综述[J/OL].计算机科学,1-23
[2] 孙彩霞,张同文,胡家晖,等.人工智能方法在气象领域的应用综述[J/OL].沙漠与绿洲气象,1-9
[3] 朱恩达,王亚强,赵妍,等.东亚区域人工智能气象大模型预报技巧评估[J].应用气象学报,2024,35(06):641-653.
[4] 姚凯,朱晓彤,云天,等.盘古气象大模型在东北地区适用性的初步评估[J/OL].沙漠与绿洲气象,1-11
[5] 田奇,毕恺峰,谢凌曦.基于人工智能大模型的中期全球气象预报新方法[J].中国基础科学,2024,26(01):7-13+21.
[6] 黄小猛,林岩銮,熊巍,等.数值预报AI气象大模型国际发展动态研究[J].大气科学学报,2024,47(01):46-54.
[7] Price, I., Sanchez-Gonzalez, A., Alet, F. et al. Probabilistic weather forecasting with machine learning. Nature (2024).
编辑:小咕咕
转载内容仅代表作者观点
来源:中科院物理所