支持异构集群并行的高能物理数据处理系统

摘要：

传统集群计算系统无法充分利用本地磁盘的存储资源和I/O,大量网络I/O成为系统瓶颈,导致资源利用率降低,并造成高昂的存储和网络成本.使用Hadoop处理分析作业可有效利用本地磁盘存储和I/O资源,而集群资源统一管理工具Mesos则使用轻量化的设计和高效的通信机制,能在不同计算集群之间动态共享集群资源.为此,分析高能物理数据处理的特点,利用Mesos构建异构集群间资源共享的高能物理实验数据处理系统,实现Torque/Maui和Hadoop集群的集成.测试结果表明,该系统能够在集群间动态分配集群资源,并利用本地存储和磁盘I/O显著降低网络I/O,提高集群资源利用率.

关键词：高能物理、集群资源管理、资源共享、Mesos工具、Hadoop平台、Torque/Maui系统

所属期刊栏目：41

分类号：TP391(计算技术、计算机技术)

资助基金：国家自然科学基金资助项目11375223,11375221;国家自然科学基金A3前瞻计划基金资助项目61161140454

在线出版日期：2015-03-23（万方平台首次上网日期，不代表论文的发表时间）

页数：共5页

页码：1-5