Hadoop海量数据迁移系统开发及应用

摘要：

当前高能物理实验产生的数据量越来越大,利用大数据处理平台Hadoop进行高能物理数据处理时,面临数据迁移的实际需求,而现有迁移工具不支持HDFS与其他文件系统间的数据传输,性能存在明显缺陷.从高能物理数据同步、归档等需求出发,设计和实现了一个通用的海量数据迁移系统,通过扩展HDFS数据访问方式,使用Map-Reduce直接在HDFS数据节点和其他存储系统/介质之间迁移数据.此外,系统设计实现了动态优先级调度模型,进行多任务的动态优先级评定和选取.该系统已经应用于大型高海拔空气簇射观测站(LHAASO)宇宙线等物理实验中的数据迁移,实际运行结果表明系统性能良好,能够满足各个实验的数据迁移需求.

关键词：高能物理、数据迁移、GridFTP协议、动态优先级调度、多属性决策、Hadoop系统

所属期刊栏目：55

分类号：TP311(计算技术、计算机技术)

资助基金：国家自然科学基金11775249,11775250

在线出版日期：2019-07-25（万方平台首次上网日期，不代表论文的发表时间）

页数：共6页

页码：66-71