10.11996/JG.j.2095-302X.2019030503
基于文本与视觉信息的细粒度图像分类
一般细粒度图像分类只关注图像局部视觉信息,但在一些问题中图像局部的文本信息对图像分类结果有直接帮助,通过提取图像文本语义信息可以进一步提升图像细分类效果.我们综合考虑了图像视觉信息与图像局部文本信息,提出一个端到端的分类模型来解决细粒度图像分类问题.一方面使用深度卷积神经网络获取图像视觉特征,另一方面依据提出的端到端文本识别网络,提取图像的文本信息,再通过相关性计算模块合并视觉特征与文本特征,送入分类网络.最终在公共数据集Con-Text上测试该方法在图像细分类中的结果,同时也在SVT数据集上验证端到端文本识别网络的能力,均较之前方法获得更好的效果.
计算机视觉、细粒度图像分类、场景文本识别、卷积神经网络、注意力机制
40
TP391(计算技术、计算机技术)
北京市科技计划课题Z171100001217006
2019-08-05(万方平台首次上网日期,不代表论文的发表时间)
共10页
503-512