基于MPI的分布式数据处理系统

摘要：

为简化江门中微子实验的离线数据处理流程,减少资源消耗,提出一种在分布式计算环境中进行数据处理的通用软件系统.基于信息传递接口实现节点间的通信与数据交换,使用Master/Worker架构对计算作业生命周期进行管理,包括计算作业拆分、计算资源分配以及计算任务执行与监控.测试结果表明,该系统具有良好的可扩展性,其产生的数据与人工逐步执行作业脚本运行模拟软件产生的数据一致.

关键词：高能物理、江门中微子实验、离线数据处理、分布式计算、信息传递接口

所属期刊栏目：45

分类号：TP391(计算技术、计算机技术)

资助基金：中国科学院战略性先导科技专项A类XDA10010900;大科学装置联合基金U1532258

在线出版日期：2019-08-02（万方平台首次上网日期，不代表论文的发表时间）

页数：共6页

页码：20-25