基于GEP的流数据分类压缩并行算法研究

摘要：

针对数据挖掘中流数据分类精度不高,数据压缩率低的问题,提出一种基于粒度分析与转存式GEP的流数据分类压缩并行算法,实现流数据的快速并行分类压缩.首先使用粒度分析技术对流数据的属性求得极小粒度集,根据划分规则得到近似粒度空间,然后根据不同类型流数据建立不同的GEP分类器模型,最后采用动态转存记录集形式,将数据送至GEP压缩模型实施压缩.再将串行算法扩展到MPI+OpenMP混合编程模型后得到其并行算法,采用UCI数据、通讯账单验证算法的性能.实验结果表明,分类压缩效果耗时较理想,压缩比效果明显,其中在校学生通讯账单耗时在96 s左右,压缩比达到1/3.

关键词：分类压缩、粒度分析、GEP、并行算法

所属期刊栏目：31

分类号：TP393(计算技术、计算机技术)

资助基金：国家自然科学基金资助项目61163012;广西自然科学基金资助项目2012GXNSFAA053218;广西高校科学技术研究资助项目2013YB147;广西研究生教育创新计划资助项目YCSZ2012099

在线出版日期：2013-12-09（万方平台首次上网日期，不代表论文的发表时间）

页数：共7页

页码：87-93