基于稠密连接注意力单任务提升的深度多任务学习

摘要：

多任务学习通过任务间的知识共享提升多个关联任务的泛化性能.多任务学习领域的大多数方法通过设置先验性的知识共享结构来定义任务间的关系,这些知识共享结构可能使任务不能充分利用多任务学习带来的好处,甚至导致明显的知识负迁移,使得任务性能提升不大.为了解决上述问题,提出了一种基于稠密连接注意力单任务提升的深度多任务学习方法.该方法中每个任务使用特异的自注意力单元学习任务间的知识共享结构,通过稠密连接将知识共享信息与自身动态结合,使用单任务提升训练方法贪心地优化每个任务,极大程度地避免知识负迁移所带来的问题.在多个数据集上的实验证明了该方法的有效性,其性能已优于目前许多先进的多任务学习方法.

关键词：多任务学习、自注意力机制、稠密连接、知识共享、单任务提升

所属期刊栏目：34

分类号：TP183(自动化基础理论)

资助基金：重庆市自然科学基金cstc2019jcyj-msxmX0021

在线出版日期：2022-07-04（万方平台首次上网日期，不代表论文的发表时间）

页数：共9页

页码：393-401