基于草图纹理和形状特征融合的草图识别

摘要：

人类具有很强的草图识别能力.然而,由于草图具有稀疏性和缺少细节的特点,目前的深度学习模型在草图分类任务上仍然面临挑战.目前的工作只是将草图看作灰度图像而忽略了不同草图类别间的形状表示差异.提出一种端到端的手绘草图识别模型,简称双模型融合网络,它可以通过相互学习策略获取草图的纹理和形状信息.具体地,该模型由2个分支组成:一个分支能够从图像表示(即原始草图)中自动提取纹理特征,另一个分支能够从图形表示(即基于点的草图)中自动提取形状特征.此外,提出视觉注意一致性损失来度量2个分支之间视觉显著图的一致性,这样可以保证2个分支关注相同的判别性区域.最终将分类损失、类别一致性损失和视觉注意一致性损失结合完成双模型融合网络的优化.在两个具有挑战性的数据集TU-Berlin数据集和Sketchy数据集上进行草图分类实验,评估结果说明了双模型融合网络显著优于基准方法并达到最佳性能.

关键词：草图分类、注意力机制、互学习策略、图像识别

所属期刊栏目：48

分类号：TP391.41;TN911.73;TP183

资助基金：中央高校基本科研业务费专项;北京市自然科学基金;北京市自然科学基金;中国博士后科学基金

在线出版日期：2022-10-09（万方平台首次上网日期，不代表论文的发表时间）

页数：共10页

页码：2223-2232