一种基于Agent和活动优先度的ETL过程并行方法

摘要：

ETL是数据仓库获得高质量数据的关键环节,在数据仓库的构建和实施中占有重要地位.针对传统ETL串行执行方式的不足,提出一种基于Agent和活动优先度相结合的ETL并行执行方法.该方法计算ETL执行过程中各个活动的优先度,利用Agent理论和多线程并行计算技术实现并行执行具有相同优先度且相互间没有依赖关系的ETL活动.实验结果表明,该方法在数据量较大时具有较好的加速比,提高了ETL过程的执行效率.

关键词：Agent、活动优先度、ETL、并行

所属期刊栏目：39

分类号：TP391(计算技术、计算机技术)

资助基金：国家863计划2007AA1236;中国工程物理研究院发展基金14-FZJJ-0442

在线出版日期：2017-10-30（万方平台首次上网日期，不代表论文的发表时间）

页数：共8页

页码：1594-1601