基于自适应学习率优化的AdaNet改进

摘要：

人工神经网络的自适应结构学习(AdaNet)是基于Boosting集成学习的神经结构搜索框架,可通过集成子网创建高质量的模型.现有的AdaNet所产生的子网之间的差异性不显著,因而限制了集成学习中泛化误差的降低.在AdaNet设置子网网络权重和集成子网的两个步骤中,使用Adagrad、RMSProp、Adam、RAdam等自适应学习率方法来改进现有AdaNet中的优化算法.改进后的优化算法能够为不同维度参数提供不同程度的学习率缩放,得到更分散的权重分布,以增加AdaNet产生子网的多样性,从而降低集成学习的泛化误差.实验结果表明,在MNIST(Mixed National Institute of Standards and Technology database)、Fashion-MNIST、带高斯噪声的Fashion-MNIST这三个数据集上,改进后的优化算法能提升AdaNet的搜索速度,而且该方法产生的更加多样性的子网能提升集成模型的性能.在F1值这一评估模型性能的指标上,改进后的方法相较于原方法,在三种数据集上的最大提升幅度分别为0.28％、1.05％和1.10％.

关键词：AdaNet、神经架构搜索、集成学习、自适应学习率方法、自动机器学习

所属期刊栏目：40

分类号：TP183(自动化基础理论)

资助基金：国家自然科学基金资助项目;教育部新一代信息技术创新项目;国家社会科学基金重大计划项目

在线出版日期：2020-10-20（万方平台首次上网日期，不代表论文的发表时间）

页数：共7页

页码：2804-2810