基于深度卷积与全局特征的图像密集字幕描述

摘要：

为了解决图像密集字幕描述中感兴趣区域(Regions of interest,ROI)定位不准确与区域粗粒度描述问题,本文提出了一种基于深度卷积与全局特征的图像密集字幕描述算法,该算法采用残差网络与并行LSTM(Long Short Term Memory)网络的联合模型对存在的区域重叠定位和粗粒度描述细节信息不完整问题进一步改进.首先利用深度残差网络与Faster R-CNN(Faster R-Convolutional Neural Network)的RPN(Regional Proposal Network)层获取更精准区域边界框,以便避免区域标记重叠;然后将全局特征、局部特征和上下文特征信息分别输入并行LSTM网络且采用融合算子将三种不同输出整合以获得最终描述语句.通过在公开数据集上与两种主流算法对比表明本文模型具有一定优越性.

关键词：密集字幕生成、并行长短时记忆网络、Faster R-CNN、感兴趣区域、特征融合

所属期刊栏目：36

分类号：TP391(计算技术、计算机技术)

资助基金：国家自然科学基金资助;河北省高等学校科学研究重点项目

在线出版日期：2020-11-20（万方平台首次上网日期，不代表论文的发表时间）

页数：共8页

页码：1525-1532