同步融合视觉与语义信息的图像描述模型

摘要：

针对现有图像描述方法将视觉和语义信息单独处理、缺乏结构化信息和忽略全局信息的问题,提出一种同步融合视觉与语义信息的图像描述模型(SG-sMLSTM).通过融合图像全局特征和候选区域的多模态特征增强和细化图像视觉信息,基于场景图实现结构化语义信息编码;解码部分设计sMLSTM结构,利用注意机制同步动态融合视觉和语义信息,使模型在每个时间步接收更全面的信息,自适应选择关注更关键的区域.基于MSCOCO数据集的实验结果表明,该模型能够产生更准确的描述语句,在评价指标得分上与基线方法相比有约3％的提升.

关键词：图像描述、场景图、多模态、视觉信息、语义信息、注意机制、同步融合

所属期刊栏目：44

分类号：TP391.4(计算技术、计算机技术)

资助基金：河北省自然科学基金F2021202038

在线出版日期：2023-05-08（万方平台首次上网日期，不代表论文的发表时间）

页数：共8页

页码：807-814