基于梯度优化的多任务混合学习方法

摘要：

多任务学习作为深度学习的一个分支,得到了广泛关注与深入研究,但仍然存在网络结构复杂、任务区分困难的问题.据此,基于硬参数共享神经网络给出梯度优化的多任务混合学习方法.首先,无需区分不同任务,将多任务训练数据一同送入网络进行混合训练,所有任务共用一个损失函数,前一次训练所得的网络共享层参数作为下次训练的共享层初始化参数;其次,根据不同共享层提取特征的差异和任务在深层梯度变化的不同,调节相应的激活值,优化网络参数,既保持了硬参数共享神经网络结构的简洁性特点,又利于解决多任务训练过程中数据的非平衡问题;最后,通过在UCI公开数据集中的鸢尾花和天平秤数据上的实际应用,以及与传统的硬参数共享神经网络的纵向对比,验证了该学习方法的可行性与有效性.

关键词：多任务学习;硬参数共享;特征提取;混合训练;梯度优化

所属期刊栏目：31

分类号：TP183(自动化基础理论)

资助基金：国家自然科学基金;宁夏自然科学基金;宁夏回族自治区"双一流"学科建设:计算机科学与技术B类;宁夏"大数据智能技术与应用科技创新团队"

在线出版日期：2021-10-28（万方平台首次上网日期，不代表论文的发表时间）

页数：共6页

页码：7-12