基于Spark的序列数据质量评价

摘要：

随着序列数据在实际中的广泛应用,序列数据质量评价成为学术、工业等众多领域的热门研究问题.目前主流的序列数据质量评价方法是基于概率后缀树模型进行数据质量评价,然而这种方法难以实现对大规模数据的处理.为解决此问题,提出了基于Spark的序列数据质量评价算法STALK(sequential data quality evaluation with Spark),并且采用了改进的剪枝策略来提高算法效率.具体地,在Spark平台下,利用大规模序列数据高效建立生成模型,并根据生成模型对查询序列的数据质量进行快速评价.最后通过真实序列数据集验证了STALK算法的有效性、执行效率和可扩展性.

关键词：数据质量、概率后缀树、Spark、并行计算

所属期刊栏目：11

分类号：TP391(计算技术、计算机技术)

资助基金：The National Natural Science Foundation of China under Grant Nos. 61572332, 51507084;the Postdoctoral Science Foundation of China under Grant Nos. 2016T90850, 2016M591890;the Fundamental Research Funds for the Central Universities of China under Grant No. 2016SCU04A22

在线出版日期：2017-07-05（万方平台首次上网日期，不代表论文的发表时间）

页数：共11页

页码：897-907