基于EMD距离的稀疏自编码器

摘要：

KL散度在机器学习领域被广泛地用于模型损失函数之中来度量分布的距离.在稀疏自编码器中,KL散度被用作损失函数的惩罚项来度量神经元输出与稀疏参数的距离,使得神经元输出趋近稀疏参数,从而抑制神经元的激活以得到稀疏编码.在WGAN中,Wasserstein距离被用于解决GAN的梯度消失和模式塌陷问题,使得GAN的训练更加稳定.得益于Wasserstein距离在GAN中的成功应用,提出了基于EMD距离的稀疏自编码器SAE-EMD.实验结果表明,相比于使用KL散度与JS散度,使用E MD距离作为惩罚项的稀疏自编码器可以使得真实样本与重构样本之间的重构误差减小,并且随着惩罚参数的增大,编码更加稀疏.

关键词：稀疏自编码器、正则化、EMD距离、KL散度

所属期刊栏目：44

分类号：TP391(计算技术、计算机技术)

在线出版日期：2022-06-01（万方平台首次上网日期，不代表论文的发表时间）

页数：共7页

页码：894-900