基于多任务学习的传统服饰图像双层标注

摘要：

针对当前图像多标签标注方法只能标注图像内容信息(本体),而不能同时标注图像寓意信息(隐义)的问题,提出了一种基于多任务学习的双层多标签标注模型(MTL-DMAM).首先将图像的本体标注和隐义标注视为两个关联任务,以ResNeXt-50作为共享特征的主干网络,然后利用注意力机制分别为每个任务构建一个分支结构,实现了图像双层标注,同时为消除图像内各物体大小差异对标注结果的影响,在模型中加入ELASTIC结构,进一步提高了模型性能.在对比实验中,本文模型在单任务MS-COCO数据集和多任务传统服饰数据集上优于其他同类模型.最后,利用Grad-cam方法可视化模型MTL-DMAM在标注时重点关注的图像区域,实验结果表明本文模型能有效学习标签对应的图像显著特征.

关键词：人工智能、传统服饰、多任务学习、多标签标注、注意力机制

所属期刊栏目：51

分类号：TP181(自动化基础理论)

资助基金：中央文化产业发展专项资金申报项目GSSKS-2015-035

在线出版日期：2021-03-05（万方平台首次上网日期，不代表论文的发表时间）

页数：共10页

页码：293-302