基于文本与视觉信息的细粒度图像分类

摘要：

一般细粒度图像分类只关注图像局部视觉信息,但在一些问题中图像局部的文本信息对图像分类结果有直接帮助,通过提取图像文本语义信息可以进一步提升图像细分类效果.我们综合考虑了图像视觉信息与图像局部文本信息,提出一个端到端的分类模型来解决细粒度图像分类问题.一方面使用深度卷积神经网络获取图像视觉特征,另一方面依据提出的端到端文本识别网络,提取图像的文本信息,再通过相关性计算模块合并视觉特征与文本特征,送入分类网络.最终在公共数据集Con-Text上测试该方法在图像细分类中的结果,同时也在SVT数据集上验证端到端文本识别网络的能力,均较之前方法获得更好的效果.

关键词：计算机视觉、细粒度图像分类、场景文本识别、卷积神经网络、注意力机制

所属期刊栏目：40

分类号：TP391(计算技术、计算机技术)

资助基金：北京市科技计划课题Z171100001217006

在线出版日期：2019-08-05（万方平台首次上网日期，不代表论文的发表时间）

页数：共10页

页码：503-512