基于贝叶斯的大数据异常值检测模型研究

摘要：

随着物联网、云计算、移动互联网等信息产业的不断进步,数据规模越来越大、处理难度也逐渐加大.而海量的数据中,异常数据会干扰后续的挖掘、预测与分析.因此,有必要对异常数据进行检测,提高数据的准确性.但由于数据量过大,大数据常常不具备明显的分布特征,然而对非典型特征的数据进行建模是一个挑战,因为推理会变得更加困难.以空气质量大数据为例,研究了如何将不具备明显分布特征的大数据,利用独立的高斯分布混合分布描述此类数据.在前期研究的高斯混合模型+神经网络的基础上优化了均值和协方差的选取,使得结果更加准确.这对于异常数据检测具有重要意义,更大程度地提高检测的准确性.

关键词：异常值检测、贝叶斯聚类算法、高斯混合模型、神经网络、模型融合

所属期刊栏目：16

分类号：TP3-05(计算技术、计算机技术)

资助基金：江西省青年科学家培养对象计划项目;江西省教育厅科技计划项目;江西省放射性地学大数据技术工程实验室开放项目

在线出版日期：2020-03-28（万方平台首次上网日期，不代表论文的发表时间）

页数：共3页

页码：207-209