10.19352/j.cnki.issn1671-4679.2024.01.002
一种基于HDFS的分布式文件系统MPIFS
传统的MPI(Message Passing Interface)计算特点是数据向计算迁移,对于数据量庞大的计算任务具有先天的不足.文中提出一种支持MPI的分布式文件系统MPIFS的架构及实现.该文件系统基于HDFS(Hadoop Dis-tributed File System),使得MPI在MPIFS上能同时支持计算密集型和数据密集型计算,设置两个类型的批处理词频统计实验,所需数据都分布式存储在MPIFS分布式文件系统中,通过调用系统提供的统一数据接口实现数据访问.1个计算节点在本地计算大小为m的文件,n个计算节点分布式并行计算大小为n ×m的文件,两者计算时间相同,MPIFS中文件总量不变,计算节点数量减少,计算时间t变长,可得出MPIFS文件系统架构可行,能够支持MPI实现计算向数据迁移的并行计算.
MPI、分布式文件系统、分布式并行计算、计算迁移
38
TP338.8(计算技术、计算机技术)
中央高校基本科研业务费专项资金项目2023NYXXS036
2024-02-27(万方平台首次上网日期,不代表论文的发表时间)
共6页
9-14