科学计算双路并行I/O优化方法
科学计算数据集由数据和元数据组成.一般条件下,数据的尺寸较大,元数据尺寸较小.传统的高性能计算机并行文件系统可以高效率地读写大块连续数据,但是无法高效率地读写大量较小块的元数据.一旦大块数据和小块元数据两类读写特征混杂在一起,元数据将较严重地干扰并行I/O,造成性能的下降.为此,文中提出数据与元数据分治的双路并行I/O方法.该方法在高层I/O库中建立内存文件系统与并行文件系统两级存储,在存储资源之间并行迁移科学计算元数据.一方面降低较频繁读写元数据的I/O延迟,另一方面改变科学计算数据的存储特征与存储模式,从而提高科学计算应用、尤其是数据分析与可视化等读入密集型应用的I/O效率.测试表明,双路并行I/o方法可提高写性能8％～13％,提高读性能89％到1.01倍.
并行I/O、高层I/O库、性能优化、数据格式、双路并行I/O
38
TP302(计算技术、计算机技术)
国家“八六三”高技术研究发展计划项目基金2012AA01A309;国家自然科学基金61033009,61170310;国家“九七三”重点基础研究发展规划项目基金2011CB309702;This paper is supported by the National High Technology Research and Development Program 863 Program of China under Grant No.2012AA01A309,the National Natural Science Foundation of China under Grant Nos.61033009,61170310,the National Basic Research Program 973 Programof China under Grant No.2011
2015-06-26（万方平台首次上网日期，不代表论文的发表时间）
共9页
1035-1043
