一种基于深度学习的异常数据清洗算法

摘要：

在物联网(IoT)中采用合适的异常数据清洗算法能极大地提升数据质量.许多研究人员采用统计学方法或分类聚类等方法对时-空相关数据进行清洗.但这些方法需要额外的先验知识,会给汇聚节点带来额外的计算开销.该文根据低秩-稀疏矩阵分解模型,提出一种基于深度神经网络的快速异常数据清洗算法,来解决物联网中时-空相关数据的清洗问题.结合感知数据的时-空相关性和异常值的稀疏性,将异常数据清洗问题转换为优化问题,并采用迭代阈值收缩算法(ISTA)求解该优化问题,再将ISTA算法展开成一个固定长度的深度神经网络.实际数据集的实验结果表明,该方法能够自动更新阈值,比传统的ISTA算法收敛速度更快,精度更高.

关键词：物联网;异常数据清洗;迭代阈值收缩算法;展开;深度神经网络

所属期刊栏目：44

分类号：TN915;TP181

资助基金：国家自然科学基金;国家重点研究发展计划项目;上海市科学技术委员会科技创新行动计划

在线出版日期：2022-03-07（万方平台首次上网日期，不代表论文的发表时间）

页数：共7页

页码：507-513