一种基于NoSQL的气象非结构化数据产品存储方法

摘要：

基于一种面向气象非结构化数据产品的NoSQL存储方法,综合气象网格化数据产品的结构及其应用场景,设计了NoSQL中的列存储数据库,并通过优化表格存储方式提高存储、访问效率.根据数据产品的类型、时间、预报时效等信息,制定主键列,属性列和数据列,设计数据存储模型.对数据列大网格进行切分,用网格点序号标记数据列名,并制定数据压缩策略,从而提高数据访问的整体效率.以气象数值预报产品为例,利用阿里云的OTS产品进行模拟测试,结果表明,基于NoSQL技术的列存储数据库可以满足产品服务平台的数据支撑要求,为分布式数据、云计算等技术的推广应用提供参考.

关键词：气象数据、非结构化数据、NoSQL、列存储数据库

所属期刊栏目：45

分类号：P409(一般理论与方法)

资助基金：中国气象局小型建设项目“高时空分辨率气象预报分布式计算能力建设”、浙江省气象局重点项目“气象业务标准化数据库建设关键技术”2013ZD10

在线出版日期：2017-08-18（万方平台首次上网日期，不代表论文的发表时间）

页数：共5页

页码：430-434