[1]任晓炜,黄志,詹利群.Hadoop在气象数据存储中的应用[J].气象研究与应用,2019,40(01):65-68.
　Ren Xiaowei,Huang Zhi,Zhan Liqun.The application of Hadoop in the storage of meteorological data[J].Journal of Meteorological Research and Application,2019,40(01):65-68.
点击复制

Hadoop在气象数据存储中的应用()
分享到：

气象研究与应用[ISSN:1673-8411/CN:45-1356/P]

卷:
第40卷
期数:
2019年01期
页码:
65-68
栏目:
广西气象信息化建设专题
出版日期:
2019-04-05

文章信息/Info

Title:
The application of Hadoop in the storage of meteorological data
作者:
任晓炜;  黄志;  詹利群
广西区气象信息中心, 广西 南宁 530022
Author(s):
Ren Xiaowei;  Huang Zhi;  Zhan Liqun
Guangxi Regional Meteorological Information Center, Nanning Guangxi 530022
关键词:
大数据; Hadoop; ETL; 存储
Keywords:
big data; Hadoop; ETL; storage
分类号:
P49
摘要:
利用虚拟资源池搭建基于Hadoop的大数据存储架构，将海量自动站文本数据、数字化历史图片以及二进制雷达基数据按照自定义ETL存储规则进行数据清洗之后存入大数据框架，在并发读取效率测试中取得了良好的效果，为应对海量气象资料增长在扩展性和系统性能方面提出的挑战提供解决思路和基本模型。
Abstract:
A large data storage architecture based on Hadoop is constructed by using virtual resource pool. The massive text data, digitized historical pictures and binary radar-based data are cleaned according to the customized ETL storage rules and stored in the large data frame. Good results have been achieved in the concurrent reading efficiency test, which provides solutions and basic models to meet the challenges posed by the growth of mass meteorological data in terms of scalability and system performance.

参考文献/References:

[1] 张金标,张恩红.基于多线程流水线的光盘自动刻录技术研究[J].气象研究与应用,2018,39(2):94-97.
[2] 崔杰,李陶深,兰红星.基于Hadoop的海量数据存储平台设计与开发[J].计算机研究与发展,2012, (S1):12-18.
[3] 王军,刘文化,于伟东,等.一种基于Hadoop的纺织海量生产数据存储设计[J]. 微型电脑应用, 2013,(6):53-57.
[4] 王海荣,刘珂.基于Hadoop的海量数据存储系统设计[J].科技通报,2014,30(9):127-130.
[5] 薛胜军,剑寅.基于Hadoop的气象信息数据仓库建立与测试[J].计算机测量与控制,2012,20(4):926-932.
[6] 尹颖,林庆,林涵阳.HDFS中高效存储小文件的方法[J].计算机工程与设计,2015,36(2):406-409.

相似文献/References:

[1]陈剑飞,史彩霞,王振国.基于行业气象服务的基础数据支撑平台研发与应用[J].气象研究与应用,2022,43(02):117.[doi:10.19849/j.cnki.CN45-1356/P.2022.2.20]
　Chen Jianfei,Shi Caixia,Wang Zhenguo.Implementation and application of basic data support platform based on industry meteorological services[J].Journal of Meteorological Research and Application,2022,43(01):117.[doi:10.19849/j.cnki.CN45-1356/P.2022.2.20]
[2]袁丽军,李有华,谢晓琳.广西气象融媒体服务云平台系统设计与开发[J].气象研究与应用,2022,43(04):133.[doi:10.19849/j.cnki.CN45-1356/P.2022.4.22]
　Yuan Lijun,Li Youhua,Xie Xiaolin.Design and development of Guangxi meteorological integrated media service cloud platform system[J].Journal of Meteorological Research and Application,2022,43(01):133.[doi:10.19849/j.cnki.CN45-1356/P.2022.4.22]

备注/Memo

备注/Memo:
收稿日期:2019-1-10。
基金项目:国家档案局科技项目《Hadoop技术在气象数字档案馆存储中的研究与应用》（编号：2016-X-06）资助。
作者简介:任晓炜(1965-),女,黑龙江哈尔滨人,大学本科,高级工程师,从事气象信息系统设计与管理工作。
更新日期/Last Update: 1900-01-01