基于多模态融合的城市道路场景视频描述模型研究

摘要：

城市道路视频描述存在仅考虑视觉信息而忽视了同样重要的音频信息的问题,多模态融合算法是解决此问题的方案之一.针对现有基于Transformer的多模态融合算法都存在着模态之间融合性能低、计算复杂度高的问题,为了提高多模态信息之间的交互性,提出了 一种新的基于Transformer的视频描述模型多模态注意力瓶颈视频描述(multimodal attention bottleneck for video captioning,M AB VC).首先使用预训练好的 I3 D 和 VGGish 网络提取视频的视觉和音频特征并将提取好的特征输入到Transformer模型当中,然后解码器部分分别训练两个模态的信息再进行多模态的融合,最后将解码器输出的结果经过处理生成人们可以理解的文本描述.在通用数据集MSR-VTT、MSVD和自建数据集BUUISE上进行对比实验,通过评价指标对模型进行验证.实验结果表明,基于多模态注意力融合的视频描述模型在各个指标上都有明显提升.该模型在交通场景数据集上依旧能够取得良好的效果,在智能驾驶行业具有很大的应用前景.

关键词：视频描述、多模态融合、注意力机制、智能驾驶

所属期刊栏目：40

分类号：TP391.41(计算技术、计算机技术)

资助基金：国家自然科学基金;国家自然科学基金;国家自然科学基金;国家自然科学基金;北京市重点科技项目;协同创新中心资助项目;北京联合大学学术研究项目;北京联合大学学术研究项目;北京联合大学学术研究项目;北京联合大学学术研究项目

在线出版日期：2023-03-07（万方平台首次上网日期，不代表论文的发表时间）

页数：共6页

页码：607-611,640