基于HBase的气象结构化数据查询优化

摘要：

海量气象观、探测数据是提高公共气象服务精细化、精准化和个性化水平的关键.日增TB级的海量气象数据在存储、检索、传输、共享方面的时效性要求对构建在传统的IOE技术架构上气象数据管理系统提出了严峻挑战.在HBase基础上,提出了一个基于索引的气象结构化数据查询优化架构HBase4M(HBase for Meteorology).首先,根据HBase存储特性设计表结构;然后,利用协处理器建立和维护辅助索引,将字段查询转化为对索引表的行键查询,使得HBase4M在具备HBase可扩展性、低延迟的特性上可以支持结构化气象数据的灵活查询.实验结果表明,HBase4M的性能可以基本满足气象服务的业务需要.

关键词：气象数据、HBase、辅助索引、分布式存储

所属期刊栏目：53

分类号：TP311.138(计算技术、计算机技术)

资助基金：科技部公益性行业气象科研专项GYHY201506080

在线出版日期：2017-05-24（万方平台首次上网日期，不代表论文的发表时间）

页数：共5页

页码：80-84