基于大数据的元模型及数据保障研究

摘要：

针对海量的数据资源管理效率与质量问题,提出一种基于Hadoop的元数据管理模型.在该模型中,采用Hadoop对元模型进行搭建,从而完成对整个元数据的储存;然后通过ETL工具,通过分布式抽取的方式,实现对不同服务集群中化工类数据库数据的抽取,并通过ETL抽取、转换、加载和映射,建立映射规则,进而将不同的数据存储到对应的数据库中.最后,以某化工类数据库中的元数据抽取为例,通过对比数据集成率和数据可用性,看出本研究方案可提升海量数据下的数据有用率和集成率,对保障元数据的抽取质量具有借鉴价值.

关键词：Hadoop架构、元模型、数据质量、ETL工具、映射规则

所属期刊栏目：45

分类号：TP311.13(计算技术、计算机技术)

在线出版日期：2021-04-07（万方平台首次上网日期，不代表论文的发表时间）

页数：共5页

页码：96-100