全面推进气象行业数据应用现代化,构建气象行业新格局
CIMISS是集数据质量控制与产品生成、存储管理、共享服务等功能于一体的气象信息共享业务系统。它建立了气象数据标准化框架,规范了各类数据命名、格式和算法,定义了国家级和省级一致的气象数据存储结构和数据服务接口,实现了国家级、省级数据同步和实时历史数据一体化管理。
CIMISS由1个国家中心和31个省级中心组成,所有中心通过全国气象业务网联结成一个物理分布、逻辑统一的信息共享平台,从根本上解决了困扰业务系统多年的数据支撑环境分散建设、数据重复存储、国省气象部门及各业务系统间数据不一致、数据权威性无法保证的问题。
中国气象局2017年下发的《山洪地质灾害防治气象保障工程2017年建设实施方案》中,提出气象大数据平台(软件)建设任务,主要用于CIMISS系统的升级改造,包括对CIMISS系统进行分布式改造,解码入库从原来的单点处理升级为分布式处理架构,实现对CTS、MDOS、消息服务器等多个数据源的统一接收、解析、存储,实现高吞吐量、高可用性,消除单点故障,同时实现架构的横向扩展。
一些省市气象局选择上海爱可生信息技术股份有限公司在2018年开发和实施新一代CIMISS系统。
新一代CIMISS系统改造建设的关键业务上产生的价值如下:
1.数据源
新一代CIMISS系统所收集的结构化信息包括了28个类别:中国地面逐小时资料(新Z自动站),中国地面逐小时资料(一体化区域站),中国地面逐小时资料(无人站),中国地面分钟资料(新Z自动站),中国地面分钟资料(一体化区域站,中国地面分钟资料(无人站),中国地面日值资料(新Z自动站),公路交通基本要素资料,中国地面统计结果文件,地面重要天气报,地面日照资料,雨滴谱资料,省一级自动站状态信息数据,省一级水利局雨量站数据,省一级水利局雨量站水位信息,高空定时值资料,高空L波段探测数据文件,风廓线雷达资料,微波辐射计数据,微雨雷达,气象辐射逐小时资料,土壤水分逐小时数据,省一级农业站数据,酸雨日值资料,气溶胶质量浓度(PMM/PMMUL)资料数据,省一级负氧离子资料,降水现象自动观测分钟数据,降水现象观测数据整编文件。
结构化信息包括了3个类别,卫星云图、雷达产品和等值线产品。
2.功能架构
新一代CIMISS系统是从数据采集、解析、存储、对外服务的完整端到端应用,具体分为下面5个子系统:
气象资料解析入库子系统
负责气象资料的接收、解析、入库的全过程。该子系统要解决的核心需求是提高资料入库的效率,稳定性,可用性,和扩展性。
业务配置子系统
负责气象资料入库业务的配置。该子系统所要解决的核心需求是气象资料入库业务的灵活性、可配置性。
业务监控子系统
负责气象资料入库业务的监控及报警。 该子系统要解决原有业务系统监控不及时,数据不够准确,监控不够细致,不能监控系统运行性能等等问题。
分布式数据存储子系统
负责气象资料数据的分布式存储。该子系统要解决数据单点问题,数据持续增长的问题,以及数据查询效率的问题等,采用MySQL分布式数据库集群进行分布式存储。
气象数据查询服务子系统
负责气象资料的查询服务。该子系统要解决老的查询接口性能慢的问题。
3.技术架构
整个平台均采用分布式架构,完成气象数据的各层次处理;各层次也保障高可用,其中一个数据处理节点故障,不会影响整个处理流程的正常运行;并且可以根据业务发展,动态调整处理节点,实现横向扩展。具体技术架构如下:
各层级的性能扩展能力方面的效果如下: