并行科学计算应用中采样数据的聚集I/O

摘要：

采样数据的并行I/O制约一些并行应用的运行效率.设计、实现了采样数据的聚集并行I/O方法.该方法在客户端部署采样数据缓存,然后合并数据到输出进程,再存储到文件.为了保障并行程序长时间运行过程中采样数据的存储一致性,该方法在JASMIN框架中监测应用程序的运行状态,当并行程序发生负载平衡或者重启动时刷新或者恢复数据.I/O过程中,进一步使用HDF5的分块I/O提高列存储数据的读写效率.测试表明,新方法不仅具有较好的可扩展性,还能在具有负载平衡与重启动等复杂功能的并行应用中提高采样数据的并行I/O效率7.5倍以上.

关键词：科学计算、采样数据、并行I/O、性能优化、聚合缓存

所属期刊栏目：40

分类号：TP391(计算技术、计算机技术)

资助基金：国家自然科学基金重大研究计划重点项目9143028;国家自然科学基金面上项目11372049

在线出版日期：2018-10-29（万方平台首次上网日期，不代表论文的发表时间）

页数：共6页

页码：1534-1539