大数据预处理中属性约简的特性保持分析

摘要：

伴随着工业及社会信息化程度的增强,各个领域的自动化程度越来越高,大规模及超大规模海量数据应运而生,呈现出大数据特征;这些海量数据在提升行业发展动力的同时,也带来了巨大的挑战性问题—数据可用性;为了从海量数据中甄别出无用信息、挖掘有利于相关领域发展的有价值信息,就需要对其进行数据分析;数据预处理技术可以极大地减少数据分析时的处理量,提高数据分析处理的效率,而属性约简在数据预处理中是一个比较重要的环节;在分析大数据属性特征的基础上,较系统地分析了目前几种主流的属性约简算法,对各类算法的性能进行了剖析,并展望了今后大数据预处理的研究工作思路.

关键词：大数据、预处理、属性约简、MapReduce

所属期刊栏目：23

分类号：TB114.3(工程基础科学)

资助基金：国家自然科学基金51407076;河北省自然科学基金F2014502050;河北省高等学校科学研究项目Z2013007;中央高校基本科研业务费专项资金资助2015ZD28

在线出版日期：2016-01-14（万方平台首次上网日期，不代表论文的发表时间）

页数：共4页

页码：4191-4194