基于多模态特征转换嵌入的场景图生成

摘要：

场景图生成是计算机视觉领域中的热点研究方向,可连接上、下游视觉任务.场景图由形式为<主语-谓语-宾语>的三元组组成,模型需要对整幅图像的全局视觉信息进行编码,从而辅助场景理解.但目前模型在处理一对多、多对一和对称性等特殊的视觉关系时仍存在问题.基于知识图谱与场景图的相似性,我们将知识图谱中的转换嵌入模型迁移至场景图生成领域.为了更好地对此类视觉关系进行编码,本文提出了一种基于多模态特征转换嵌入的场景图生成框架,可对提取的视觉和语言等多模态特征进行重映射,最后使用重映射的特征进行谓语类别预测,从而在不明显增加模型复杂度的前提下构建更好的关系表示.该框架囊括并补充了现存的几乎所有转换嵌入模型的场景图实现,将四种转换嵌入模型(TransE、TransH、TransR、TransD)分别应用于场景图生成任务,同时详细阐述了不同的视觉关系类型适用的模型种类.本文所提框架扩展了传统应用方式,除独立模型之外,本文设计了新的应用方式,即作为即插即用的子模块插入到其他网络模型.本文利用大规模语义理解的视觉基因组数据集进行实验,实验结果充分验证了所提框架的有效性,同时,得到的更丰富的类别预测结果表明了本文所提框架有助于解决数据集中的长尾偏差问题.

关键词：场景图生成、知识图谱、转换嵌入模型、图像语义、场景理解

所属期刊栏目：39

分类号：TP183(自动化基础理论)

资助基金：国家重点研发计划;国家自然科学基金;国家自然科学基金

在线出版日期：2023-03-08（万方平台首次上网日期，不代表论文的发表时间）

页数：共10页

页码：51-60