基于动态概率抽样的标签噪声过滤方法

摘要：

在机器学习问题中,数据质量对系统预测的准确性产生了深远的影响.由于信息获取的难度大,人类的认知主观且有限,导致了专家无法准确标记所有样本.而近年来出现的一些概率抽样方法无法避免样本人为划分不合理且主观性较强的问题.针对这一问题,提出一种基于动态概率抽样(DPS)的标签噪声过滤方法,充分考虑各个数据集样本间的差异性,通过统计各个区间内置信度分布频率,分析各个区间内置信度分布信息熵的走势,确定合理阈值.在UCI经典数据集中选取了14个数据集,将所提方法与随机森林(RF)、HARF、MVF、局部概率抽样(LPS)等方法进行了对比实验.实验结果表明,所提出的方法在标签噪声识别和分类泛化上均展示出了较高的能力.

关键词：标签噪声;动态概率抽样;噪声过滤;标签置信度;置信度

所属期刊栏目：41

分类号：TP181(自动化基础理论)

资助基金：国家自然科学基金资助项目;山西国际科技合作计划项目;中央引导地方科技发展资金项目;山西省高等学校科技创新项目

在线出版日期：2022-01-04（万方平台首次上网日期，不代表论文的发表时间）

页数：共7页

页码：3485-3491