一种基于Solr的HBase海量数据二级索引方案

摘要：

针对HBase不提供二级索引和华为的hindex方案难以满足海量数据检索速度需求的问题,文章设计了基于Solr的HBase二级索引方案SIHBase(Solr Indexing HBase).该方案使用HBase的Coprocessor(协处理器)为数据表的创建、修改、删除以及数据的插入、更新、删除和恢复等操作都实现了相应的回调函数,通过回调函数向Solr发送相关请求,以实现在Solr中自动为HBase建立和维护二级索引,保证数据与索引的一致性.该方案具有良好的通用性,可以同时为多张表的多列数据建立索引.该方案扩展了HBase的客户端功能,增加了直接查询Solr的接口,利用Solr提供的高效、灵活、多样的检索功能实现对HBase海量数据的快速检索.最后,与hindex进行了二级索引的查询性能对比实验,证明了该方案在查询速度上要远快于hindex.

关键词：HBase、二级索引、Solr、快速检索

分类号：TP309(计算技术、计算机技术)

资助基金：国家科技支撑计划2012BAH18B05;国家自然科学基金61272447;四川省科技厅计划项目16ZHSF0483

在线出版日期：2017-11-10（万方平台首次上网日期，不代表论文的发表时间）

页数：共6页

页码：39-44