基于扩张卷积的注意力机制视频描述模型

摘要：

针对视频描述过程中视觉特征和词特征关联度不足、训练效率低、生成的自然语言出现错误和指标分数不高的问题,提出了一种基于扩张卷积的注意力机制视频描述模型.在模型的编码阶段,采用Inception-v4对视频特征进行编码,然后将编码后的视觉特征和词特征输入到基于扩张卷积的注意力机制中,最后通过长短期记忆网络进行解码,生成视频的自然描述语句.在视频描述公共数据集MSVD上进行对比实验,通过评价指标(BLEU、ROUGE_L、CIDEr、METEOR)对模型进行验证,实验结果表明,基于扩张卷积的注意力机制视频描述模型在各个指标上都有明显提升,对比基线模型SA-LSTM(Inception-v4),在BLEU_4、ROUGE_L、CIDEr和METEOR指标下分别提升了4.23％、4.73％、2.11％和 2.45％.

关键词：视频描述、Inception-v4、长短期记忆网络、扩张卷积、注意力机制

所属期刊栏目：44

分类号：TP391.4;TP183(计算技术、计算机技术)

资助基金：国家自然科学基金61976063

在线出版日期：2022-05-06（万方平台首次上网日期，不代表论文的发表时间）

页数：共6页

页码：99-104