基于Elasticsearch的HBase海量数据二级索引方案

摘要：

针对HBase不提供二级索引、自带Coprocessor(协作器)不稳定及海量数据检索速度较慢等问题,设计了一种新的基于Elasticsearch的HBase二级索引方案ELHBase(Elasticsearch Indexing HBase).该方案借助Flume、Kafka、HBase及Elastic-search搭建了一套数据采集、高速解析和录入大数据处理框架,使用Flume自定义Sink采集数据同时生成相应ID存入到Kafka,通过解析技术分别把数据存储到HBase,相应ID作为索引存储到ElasticSearch.该方案在不利用Coprocessor的基础上增加了直接查询ElasticSearch的接口,利用ElasticSearch提供的高效、灵活、多样的检索功能实现对HBase海量数据的快速检索,协同解决了HBase数据索引性能不高、协作器不稳定、ElasticSearch不适合大量数据存储等问题.最后,分别与SI-HBase、hindex进行了二级索引性能对比实验,证明了该方案在写入性能上较SIHBase更快、更稳定,查询速度上要远快于hindex.

关键词：海量数据、二级索引、ELHBase、自定义Sink、快速检索

所属期刊栏目：16

分类号：TP31(计算技术、计算机技术)

在线出版日期：2020-03-28（万方平台首次上网日期，不代表论文的发表时间）

页数：共3页

页码：5-7