数据处理平台的研究与实现

摘要：

数据处理工作已经成为目前应用开发面对的主要内容之一,存在大量的ETL工具用于进行数据处理,它们提高了系统的开发和运行效率,但缺少系统的对异常的恢复和提高系统开发效率的支持.利用日志管理、异常处理、目录服务、规则管理等技术,给出了一个数据处理平台的体系架构.在该架构中,使用模板和样本程序方法提高系统的开发效率;并基于数据处理集、影响域的概念,使用单作业状态转换、多作业有向无循环图模型解决了作业调度问题;使用基于数据处理集的日志管理、基于影响域的异常处理和恢复等模型,在保证系统运行效率的基础上,通过记录异常发生时的状态,和使用影响域迅速定位异常的影响范围,很好地解决了数据处理系统中的异常的恢复问题.

关键词：数据处理、作业管理、日志管理、异常恢复、影响域

所属期刊栏目：29

分类号：TP311.52(计算技术、计算机技术)

资助基金：国家高技术研究发展计划863计划2003AA112050;北京市科委科研基金D0106006040391

在线出版日期：2008-05-29（万方平台首次上网日期，不代表论文的发表时间）

页数：共5页

页码：1800-1803,1852