基于HBase的高能物理数据存储及分析平台

摘要：

高能物理对撞机产生数百亿计的物理事例,而物理分析则是从中选取几千个有意义的事例,该分析过程是一个典型的大数据处理及数据挖掘应用。由此,设计高效的数据结构、存储及访问机制,快速挑选出有意义的物理事例十分重要。介绍事例的数据结构、存储和处理技术,分析高能物理数据的特点,提出一种以HBase,ROOT,BEAN及MapReduce为基础的新型高能物理数据存储及处理技术系统。利用HBase存储数据、MapReduce实现并行处理,选择ROOT和BEAN作为高能物理分析框架,并给出具体设计与实现方案。测试结果表明,与传统高能物理数据存储系统相比,该系统具有更快的数据处理速度,当预筛选服务生效时能够更加有效地利用I/O和CPU资源。

关键词：高能物理数据、大数据、HBase数据库、ROOT框架、BEAN框架、MapReduce框架

分类号：TP391(计算技术、计算机技术)

资助基金：国家自然科学基金资助项目11375223,11375221;国家自然科学基金A3前瞻计划基金资助项目61161140454;国家自然科学基金委员会-中国科学院大科学装置联合基金资助项目11179020。

在线出版日期：2015-07-02（万方平台首次上网日期，不代表论文的发表时间）

页数：共7页

页码：49-55