基于HBase的数据完全本地化分析平台设计与实现

摘要：

为充分利用I/O资源并提高数据分析效率,针对高能物理数据分析过程及数据存储特点,利用Java本地接口技术,提出基于HBase C++访问接口的数据完全本地化分析平台,并设计MapReduce模型的相关算法及组件,根据Mapper任务的优化分配及组合提高CPU资源的利用率.通过集成高能物理数据分析环境、作业管理系统、ROOT绘图模块等,实现全新的Web用户接口,简化用户操作.测试结果表明,与传统基于文件存储的数据分析系统相比,该平台的数据分析速度更快,可扩展性更好.

关键词：数据本地化、MapReduce模型、HBase数据库、Java本地接口、Cairgorm框架、Django框架

所属期刊栏目：42

分类号：TP311(计算技术、计算机技术)

资助基金：国家自然科学基金资助项目11375223,11375221;国家自然科学基金委员会-中国科学院大科学装置科学研究联合基金资助项目11179020

在线出版日期：2016-08-19（万方平台首次上网日期，不代表论文的发表时间）

页数：共8页

页码：68-74,80