基于云计算的海量大数据智能清洗系统设计

摘要：

大数据资源是企业拥有的最重要的战略资源之一,也是管理层制定远景规划,提高市场竞争力的主要方式和途径,但大数据中会存在错误、冗余和不完整的数据,降低了大数据的总体质量.为此设计一种基于云计算的海量大数据智能清洗系统,改善现有大数据清洗系统在脏数据处理性能上的不足.分析了基于云计算的大数据智能清洗系统的总体框架和硬件构成,数据清洗系统的硬件部分由数据预处理模块、数据云聚类模块、数据识别模块和实体划分模块等部分组成;给出了智能大数据清洗系统的总体软件工作流程,并重点分析大数据空间聚类、相似度计算等关键的数据处理技术.验证结果表明,提出的基于云计算的海量大数据智能清洗系统设计的总体功能性较为完善,在系统性能测试方面也能够保持95％以上的数据查准率和召回率.

关键词：云计算、海量大数据、智能清洗系统、云聚类、查准率、召回率

所属期刊栏目：43

分类号：TN02-34(一般性问题)

资助基金：贵州省教育厅青年科技人才成长项目:扶贫大数据的存储结构及访问优化研究;贵州省教育厅创新群体重大研究项目:精准扶贫多源异构数据融合研究;平台建设;贵州工程应用技术学院"互联网+"创新创业训练中心

在线出版日期：2020-04-01（万方平台首次上网日期，不代表论文的发表时间）

页数：共5页

页码：116-120