基于Spark的Top-k对比序列模式挖掘

摘要：

对比序列模式(distinguishing sequential pattern, DSP)指在目标类序列集合中频繁出现,而在非目标类序列集合中不频繁出现的序列.对比序列模式能够描述2个序列集合间的差异,有着广泛的应用,例如:构建序列分类器,识别DNA序列的生物特征,特定人群行为分析.与挖掘满足支持度阈值要求的对比序列模式相比,挖掘对比度top-k对比序列模式能避免用户设置不恰当的支持度阈值.因而,更易于用户使用.但是现有的top-k对比序列模式挖掘算法难以处理大规模序列数据.对此,设计了一种基于Spark的top-k对比序列模式并行挖掘算法,称为SP-kDSP-Miner.此外,为了提高SP-kDSP-Miner的效率,针对Spark结构的特点,设计了候选模式生成策略和若干剪枝策略,以及候选模式对比度的并行计算方法.通过在真实数据集与合成数据集上的实验,验证了SP-kDSP-Miner的有效性、执行效率和可扩展性.

关键词：并行计算、序列模式、top-k、对比挖掘、Spark

所属期刊栏目：54

分类号：TP311.13(计算技术、计算机技术)

资助基金：国家自然科学基金项目61572332,61363037;国家自然科学基金委员会-中国民用航空局民航联和研究基金项目U1333113;中国博士后科学基金特别资助项目2016T90850;中央高校基本科研业务费专项资金项目2016SCU04A22;四川省科技支撑计划基金项目2014GZ0111This work was supported by the National Natural Science Foundation of China61572332, 61363037;the Joint Research Fund in Civil Aviation under Cooperative Agreement Between the National Natural Science Foundation of China and Civil Aviation Administration of ChinaU1333113;the China Postdoctoral Science Foundation2016T90850;the Fundamental Research Funds for the Central Universities2016SCU04A22;the Key Technology Research and Development Program of Sichuan Province of China2014GZ0111

在线出版日期：2017-08-28（万方平台首次上网日期，不代表论文的发表时间）

页数：共13页

页码：1452-1464