面向数据质量的ETL框架的设计与实现
针对传统抽取-转换-装载(ETL)架构在数据质量控制方面的不足,提出一种面向数据质量管理的ETL架构.根据ETL过程的特点,设计多数据源接口模块、ETL元数据描述模块、ETL任务描述模块和数据质量控制模块等.该架构以数据质量为核心,通过建立数据分析模型,利用规则推导引擎对数据分析结果生成数据清洗方案,从而有效地对数据流进行质量评估和管理.基于该设计思想开发一个ETL工具-DQETL.DQETL采用统一建模语言进行设计,并提供友好界面对ETL过程进行集中管理.最后,结合实例阐述了在该框架下进行数据质量管理的一般步骤.
数据仓库、数据质量、抽取-转换-装载(ETL)、规则推导、数据清洗
31
TP311(计算技术、计算机技术)
广东省自然科学基金项目07006474;广东省科技攻关基金项目2007B010200044
2010-06-30(万方平台首次上网日期,不代表论文的发表时间)
共4页
2057-2060