基于属性约简的粗糙集海量数据分割算法研究

摘要：

结合Rough Set理论研究了分布式处理海量数据中的关键同题,即分割海量数据集的问题.经典的Rough Set算法要求数据常驻内存,因此不能有效地处理海量数据.为了能够直接处理海量数据集,根据最佳分割的定义,结合属性约简的思想,提出基于属性约简的粗糙集海量数据分割算法(Mass Data Partition for Rough Set on Attribute Reduction,MDPRS-AR).通过实验表明,MDPRS-AR算法的分割效率比传统的算法约高70%,而且与处理整个数据集的算法相比,正确性损失不大.

关键词：海量数据、粗糙集、数据分割、分布式处理、属性约简

所属期刊栏目：20

分类号：TP301.6(计算技术、计算机技术)

资助基金：国家自然科学基金60973139,60773041;江苏省自然科学基金BK2008451;国家高科技863项目2007AA01Z41M,2007AA01Z478;现代通信国家重点实验室基金9140C1105040805;国家和江苏省博士后基金0801019C,20090451240,20090451241;江苏高校科技创新计划项目CX08B-086Z;江苏省青蓝工程资助项目

在线出版日期：2010-05-26（万方平台首次上网日期，不代表论文的发表时间）

页数：共4页

页码：5-7,11