面向I/O密集型应用的分离执行模型的实现与优化

摘要：

在众多科学大数据计算应用中,I/O性能已逐渐成为制约应用程序性能的主要瓶颈.然而随着硬件设备的更新与发展,现有高性能计算系统的计算性能与I/O性能差距逐渐增大.传统的以计算为中心的执行模型旨在利用内存和CPU的性能来解决I/O瓶颈问题.本文面向I/O密集型的科学大数据应用,实现并优化了新的执行模型——分离执行模型.该模型通过分离应用的计算操作与I/O操作,对I/O操作予以统一的管理和调度,以此来解决当前HPC系统上具有挑战性的应用I/O瓶颈问题.分离执行模型在架构上增加专门负责I/O操作的中间节点;在实现上利用消息传递模型( MPI)的I/O操作接口,重新定义并划分I/O操作流程.实验表明,该模型有效减少数据在网络中的传输,加快计算过程对数据的访问,从而提升10%至20%的I/O性能.其以数据为中心的架构模型思想对我国下一代高性能超级计算机系统结构研发设计具有参考意义.

关键词：科学大数据计算应用、高性能计算、I/O性能、分离执行模型

所属期刊栏目：40

分类号：TP311(计算技术、计算机技术)

资助基金：国家重点研发项目2017YFB0202002

在线出版日期：2020-01-06（万方平台首次上网日期，不代表论文的发表时间）

页数：共5页

页码：2619-2623