FODU:不确定数据集中快速离群点检测方法

摘要：

离群点检测是数据管理领域中的热点问题之一,在医疗诊断、金融诈骗、环境监测等领域中具有广泛的应用.目前,随着传感器等设备在数据采集方面的应用,人们发现数据的不确定性普遍存在.与确定性数据相比,挖掘出不确定数据集中潜在的富有价值的信息变得十分困难.针对上述问题,提出了一种快速的不确定离群点检测算法FODU(Fast Outlier Detection approach on Uncertain data sets).采用分层次划分思想给出了索引的构建策略,这种索引结构不仅克服了传统索引对多维数据管理的局限性,而且能够被快速地进行空间剪枝;为了快速地挖掘出不确定离群点,提出了高效的过滤方法.该方法通过批量过滤与单点过滤两个过程减少了大量的冗余计算,从而提高了检测效率,为了避免可能世界的空间膨胀,给出了数据对象离群概率值的计算方法.通过实验验证了所提算法的有效性,结果表明,相对于现有研究,该算法可以显著提高不确定离群点的检测效率.

关键词：离群点检测、不确定性数据、分层次划分、批量过滤

所属期刊栏目：55

分类号：TP391(计算技术、计算机技术)

资助基金：国家自然科学基金青年基金61602076,61702072;中国博士后科学基金面上项目2017M611211,2017M621122;中央高校基本科研业务费专项资金3132018191;国家重点研发计划项目2017YFC1404606

在线出版日期：2019-10-24（万方平台首次上网日期，不代表论文的发表时间）

页数：共11页

页码：105-114,140