[1]郭捷,乔文文,张金标,等.基于流式计算的自动站资料实时处理系统研究[J].气象研究与应用,2019,40(02):94-97.
　Guo Jie,Qiao Wenwen,Zhang Jinbiao,et al.Automatic meteorological station data real-time processiong system based on stream computing[J].Journal of Meteorological Research and Application,2019,40(02):94-97.
点击复制

基于流式计算的自动站资料实时处理系统研究()
分享到：

气象研究与应用[ISSN:1673-8411/CN:45-1356/P]

卷:
第40卷
期数:
2019年02期
页码:
94-97
栏目:
大气监测与装备技术
出版日期:
2019-06-30

文章信息/Info

Title:
Automatic meteorological station data real-time processiong system based on stream computing
作者:
郭捷;  乔文文;  张金标;  寇媛媛
广东省气象探测数据中心, 广州 510640
Author(s):
Guo Jie;  Qiao Wenwen;  Zhang Jinbiao;  Kou Yuanyuan
Guangdong Meteorological Observation Data Center, Guangzhou 510640
关键词:
流式计算; 自动气象站资料; 实时统计
Keywords:
stream computing; automatic meteorological station data; real-time processiong
分类号:
P49
摘要:
为解决自动气象站资料处理业务中存在的流程分散、处理统计时效性不足等问题，提出一种自动气象站资料实时处理系统的建设思路和方法。将自动气象站资料封装为消息，使用消息中间件进行数据传输，引入分布式流式计算引擎，利用基于现有的数据解码和统计算法，在流式计算框架内进行设计、重构和整合，将处理后的数据存储到分布式关系型数据库。结果表明，统一平台下的自动气象站资料接入和处理方法，能够使构建的系统具有较高的可靠性、低延迟和容错性等特点，满足自动气象站资料实时数据服务的时效性、准确性需求。
Abstract:
In order to solve the problems of decentralized and insufficient process in automatic meteorological station data processing business, a construction idea and method of automatic meteorological station data real-time processing system are proposed. The automatic meteorological station data is encapsulated into messages, the message middleware is used for data transmission, and the distributed stream computing engine is introduced. Based on the existing data decoding and statistical algorithms, the design, reconstruction and integration are carried out in the stream computing framework. The processed data is stored in a distributed Relational Database. This study realizes the access and processing of automatic meteorological station data under the unifed platform. The system has the characteristics of high reliability, low delay and fault tolerance, and meets the timeliness and accuracy requirements of real-time data service of automatic meteorological station data.

参考文献/References:

[1] 孙超, 霍庆, 任芝花, 等. 地面气象资料统计处理系统设计与实现[J]. 应用气象学报,2018,29(5):630-640.
[2] 张蕾, 王明洁, 李辉. 短时强降水临近预报相对准确率的探讨[J]. 广东气象,2015,37(2):1-6.
[3] 李磊, 张立杰, 力梅. 深圳降水资料信息挖掘及在气候服务中的应用[J]. 广东气象,2015,37(2):48-51.
[4] 熊文兵, 叶海宁, 吴凤莹, 等. 基于移动互联的智慧气象为农服务系统研究[J]. 气象研究与应用,2018, 39(3):63-65+91+132.
[5] 蒙炤臻, 林奕桐, 李仕强, 等. 自动站温度、雨量数据的质量控制方法和应用研究[J]. 气象研究与应用,2014,35(1):99-103
[6] 何健, 王潜梅, 钱光明, 等. 广东省区域自动气象站资料的质量控制与评估[J]. 广东气象,2011,33(3):37-40.
[7] 詹利群, 黄祎萱, 陈德诚. 自动气象站中心站资料传输流程优化实践[J]. 气象研究与应用,2013,34(3):68-71.
[8] 张来恩, 王鹏, 韩鑫强.CTS2.0消息封装及交换控制策略设计及实践[J]. 气象科技进展,2018,8(1):271-273.
[9] 赵文芳, 刘旭林.Spark Streaming框架下的气象自动站数据实时处理系统[J]. 计算机应用,2018,38(1):38-43.
[10] 张恩红, 李高洁, 乔文文, 等. 广东省气象数据通信系统的架构优化及应用分析[J]. 广东气象,2017, 39(4):73-76.
[11] 寇媛媛, 王晓明, 杨玉红, 等, 分区技术在气象数据库优化中的应用[J]. 广东气象,2018,40(5):73-76.

备注/Memo

备注/Memo:
收稿日期:2018-11-25。
基金项目:广东省省级科技计划项目“广东省气象大数据科技协同创新中心(2018B020207012)”
作者简介:郭捷(1986-),男,硕士,工程师,主要从事气象信息技术工作。E-mail:313995@qq.com
更新日期/Last Update: 1900-01-01