一种基于自动分区的海量科学数据计算框架

摘要：

在科学研究领域,存储容量、处理效率和分析精度并不能适应科学数据的指数级增长速度.通过对科学数据结构与标准的研究,提出了一个海量科学数据计算框架BSDF.提出了一种基于模型驱动的统一数据接口,实现对异构科学数据的无差别访问;提出了一种基于元数据的自动分区算法,通过参数预取与超平面维度计算确定任务颗粒度.实验结果表明:与H5Spark科学数据计算框架的基于9项基准测试的性能相比,BSDF计算框架提升了39％ ～68％;在特定领域PKTM的算法优化上,BSDF达到了41.62倍的加速比.

关键词：科学数据、模型驱动、分区算法、叠前时间偏移、软件工程、Spark

所属期刊栏目：48

分类号：V221+.3;TB553(飞机构造与设计)

在线出版日期：2022-07-08（万方平台首次上网日期，不代表论文的发表时间）

页数：共9页

页码：1004-1012