一种基于HDFS的分布式文件系统MPIFS

摘要：

传统的MPI(Message Passing Interface)计算特点是数据向计算迁移,对于数据量庞大的计算任务具有先天的不足.文中提出一种支持MPI的分布式文件系统MPIFS的架构及实现.该文件系统基于HDFS(Hadoop Dis-tributed File System),使得MPI在MPIFS上能同时支持计算密集型和数据密集型计算,设置两个类型的批处理词频统计实验,所需数据都分布式存储在MPIFS分布式文件系统中,通过调用系统提供的统一数据接口实现数据访问.1个计算节点在本地计算大小为m的文件,n个计算节点分布式并行计算大小为n ×m的文件,两者计算时间相同,MPIFS中文件总量不变,计算节点数量减少,计算时间t变长,可得出MPIFS文件系统架构可行,能够支持MPI实现计算向数据迁移的并行计算.

关键词：MPI、分布式文件系统、分布式并行计算、计算迁移

所属期刊栏目：38

分类号：TP338.8(计算技术、计算机技术)

资助基金：中央高校基本科研业务费专项资金项目2023NYXXS036

在线出版日期：2024-02-27（万方平台首次上网日期，不代表论文的发表时间）

页数：共6页

页码：9-14