MapReduce框架下并行知识约简算法模型研究

摘要：

面向大规模数据进行知识约简是近年来粗糙集理论研究热点.经典的知识约简算法是一次性将小数据集装入单机主存中进行约简,无法处理海量数据.深入剖析了知识约简算法中的可并行性;设计并实现了数据和任务同时并行的Map和Reduce函数,用于计算不同候选属性集导出的等价类和属性重要性;构建了一种MapReduce框架下并行知识约简算法模型,用于计算基于正区域、基于差别矩阵或基于信息熵的知识约简算法的一个约简.在Hadoop平台上进行了相关实验,实验结果表明,该并行知识约简算法模型可以高效地处理海量数据集.

关键词：MapReduce、粗糙集、知识约简、数据并行、任务并行

分类号：TP181(自动化基础理论)

在线出版日期：2013-01-29（万方平台首次上网日期，不代表论文的发表时间）

页数：共11页

页码：35-45