[1]黄志,林健玲,李涛,等.基于“云+端”长序列结构化数据处理应用设计与实现[J].气象研究与应用,2024,45(02):29-36.[doi:10.19849/j.cnki.CN45-1356/P.2024.2.05]
 HUANG Zhi,LIN Jianling,LI Tao,et al.Design and implementation of long sequential structured data processing application based on“cloud-edge”[J].Journal of Meteorological Research and Application,2024,45(02):29-36.[doi:10.19849/j.cnki.CN45-1356/P.2024.2.05]
点击复制

基于“云+端”长序列结构化数据处理应用设计与实现()
分享到:

气象研究与应用[ISSN:1673-8411/CN:45-1356/P]

卷:
第45卷
期数:
2024年02期
页码:
29-36
栏目:
研究论文
出版日期:
2024-06-15

文章信息/Info

Title:
Design and implementation of long sequential structured data processing application based on“cloud-edge”
作者:
黄志 林健玲 李涛 黎伟川
广西壮族自治区气象信息中心, 南宁 530022
Author(s):
HUANG Zhi LIN Jianling LI Tao LI Weichuan
Guangxi Meteorological Information Center, Nanning 530022, China
关键词:
气象大数据云平台(“天擎”)云+端GBaseMybatisSpringBoot
Keywords:
CMADaaScloud-edgeGBaseMybatisSpringBoot
分类号:
P409
DOI:
10.19849/j.cnki.CN45-1356/P.2024.2.05
摘要:
为提升长序列地面观测数据统计和处理支撑能力,加快关键业务平台“云+端”云化转型,基于“天擎”资源数据环境和云化融入标准,通过直连库方式搭建加工流水线定时任务处理流程,采用SpringBoot+Mybatis框架研制众创接口提供数据实时查询服务,数据处理流程监视和告警纳入“天镜”管理,实现对原Hadoop框架构建的业务平台的全面云化融入改造。云化应用表明,云化后节省硬件和存储资源,数据实时查询效率提高30%以上,开发模式简捷高效具有良好的拓展性,为相关海量结构化数据统计场景提供技术思路与借鉴。
Abstract:
In order to enhance the statistical and processing support capability of long sequential ground observation data,and to accelerate the cloud-based transformation of key business platforms in the“cloudedge”mode,a timed task processing flow of processing pipeline is built by directly connecting to the library based on the resource data environment and the cloud integration standard of the provincial meteorological big data cloud platform “( CMADaaS”),and the“SpringBoot+Mybatis framework”is adopted to develop a collaborative interface to provide real-time data query service,and the full-process business monitoring and alarm functions for data processing are incorporated into the “TianJing” management, achieving comprehensively integrating the original platform into the cloud environment. The results of cloud application indicate significant savings in hardware and storage resources,with real-time query efficiency improved by over 30%. The development model is simple,efficient,and highly extensible,providing technical guidance and reference for related massive structured data statistical scenarios.

参考文献/References:

[1] 赵芳,熊安元,张小缨,等.全国综合气象信息共享平台架构设计技术特征[J].应用气象学报,2017,28(6):750-757.
[2] 刘洋,黄志,徐娟,等.气象大数据云平台监控告警系统[J].计算机系统应用,2023,32(3):86-94.
[3] 黄志,黄珩,梁维亮,等.基于"天擎"DPL的业务融入设计与应用初探[J].气象研究与应用,2022,43(1):73-77.
[4] 戚云枫,曾小团,梁苑苑,等.广西网格预报系统融入"天擎"的实践与思考[J].气象研究与应用,2022,43(2):111-116.
[5] 袁正国,李显风,邓卫华,等.基于"云+端"架构的江西省雷达拼图系统设计[J].科学技术与工程,2022,22(18):7773-7779.
[6] 余永城,王笑,魏夏潞.福建气象综合业务平台融入"天擎"技术方案设计及实现[J].气象科技,2022,50(5):653-659.
[7] 黄志,苏传程,苏晓红.大数据环境下Spark性能优化分析研究与应用[J].气象科技,2022,50(1):51-58.
[8] 黄志,詹利群,任晓炜,等.Hadoop环境下基于Spark海量自动站数据查询统计的初探[J].气象科技,2019,38(1):768-772,871.
[9] GBase 8a MPP Cluster技术白皮书[Z].https://www.gBase. cn/download/gBase-8a?category=DOCUMENT.
[10] 欧阳宏基,葛萌,程海波.Mybatis框架在数据持久层中的应用研究[J].微型电脑应用,2023,39(1):73-75.
[11] 张旭刚,张昕,高若寒.基于Spring Boot与Mybatis框架构建动态读写分离模型[J].微型电脑应用,2021,37(2):84-86.
[12] 纪元,郑卫波,王梓,等.基于容器的安全接入虚拟化[J].计算机与现代化,2022(9):106-110.
[13] 邵瑛,徐斌.基于微服务的通用性系统日志评估方案及应用[J].计算机系统应用,2022,31(1):124-131.
[14] 陆伟强.基于微服务的民机工业软件架构设计[J].计算机与现代化,2023(7):73-78.

相似文献/References:

[1]任晓炜,梁苑苑,陈婧霆,等.广西气象信息网络业务发展与展望[J].气象研究与应用,2020,41(04):88.[doi:10.19849/j.cnki.CN45-1356/P.2020.4.13]
 Ren Xiaowei,Liang Yuanyuan,Chen Jingting,et al.Development and prospect of meteorological information network service in Guangxi[J].Journal of Meteorological Research and Application,2020,41(02):88.[doi:10.19849/j.cnki.CN45-1356/P.2020.4.13]
[2]黄志,黄珩,梁维亮,等.基于“天擎”DPL的业务融入设计与应用初探[J].气象研究与应用,2022,43(01):73.[doi:10.19849/j.cnki.CN45-1356/P.2022.1.13]
 Huang Zhi,Huang Heng,Liang Weiliang,et al.Design and application of business integration based on CMADaaS DPL[J].Journal of Meteorological Research and Application,2022,43(02):73.[doi:10.19849/j.cnki.CN45-1356/P.2022.1.13]

备注/Memo

备注/Memo:
收稿日期:2023-12-15。
基金项目:广西气象科研计划项目(桂气科2021L02)
作者简介:黄志(1981—),硕士,高级工程师,主要研究方向:气象信息化、大数据、云计算研究与应用。E-mail:616646373@qq.com
通讯作者:林健玲(1976—),硕士,高级工程师,主要研究方向:气象数据治理、气象信息化研究与应用。E-mail:hz4502396@163.com
更新日期/Last Update: 1900-01-01