基于大数据架构的异构系统数据集成技术研究与应用

摘要：

针对当前z研究所各类业务系统数据孤立、信息不通等问题,为打通系统壁垒,实现数据联通,统一归类共享,并为后续数据挖掘分析提供底层支撑,文章研究实现了一种基于大数据架构的异构系统数据集成方法.根据z研究所典型业务系统多源异构等特征,结合多类别数据特性,融合多模式数据处理机制,通过设计一种高效且完备、安全可拓展的统一数据集成架构,并结合先进的大数据框架和技术进行实现,可定时、增量、并行地对多类异构系统实现数据统一抽取、转换和加载到数据仓库中,同时在实现过程中加入灵活便捷的可配置机制,使该方法更适用于实际多场景应用.该方法已在z所内决策支持系统建设过程中实际应用,完成项目管理、ERP等应用系统的数据集成,其面向异构数据源集成的高效性、准确性和灵活性都得到了有效的验证.

关键词：大数据架构、数据集成、多源异构系统、增量更新、灵活可扩展

分类号：TP311.13;R197.32;G250.7

在线出版日期：2023-08-25（万方平台首次上网日期，不代表论文的发表时间）

页数：共5页

页码：75-79