10.13700/j.bh.1001-5965.2020.0704
一种基于自动分区的海量科学数据计算框架
在科学研究领域,存储容量、处理效率和分析精度并不能适应科学数据的指数级增长速度.通过对科学数据结构与标准的研究,提出了一个海量科学数据计算框架BSDF.提出了一种基于模型驱动的统一数据接口,实现对异构科学数据的无差别访问;提出了一种基于元数据的自动分区算法,通过参数预取与超平面维度计算确定任务颗粒度.实验结果表明:与H5Spark科学数据计算框架的基于9项基准测试的性能相比,BSDF计算框架提升了39% ~68%;在特定领域PKTM的算法优化上,BSDF达到了41.62倍的加速比.
科学数据、模型驱动、分区算法、叠前时间偏移、软件工程、Spark
48
V221+.3;TB553(飞机构造与设计)
2022-07-08(万方平台首次上网日期,不代表论文的发表时间)
共9页
1004-1012