外部信息引导和残差置乱的场景图生成方法

摘要：

场景图因其具有的表示视觉场景内容的语义和组织结构的特点,有助于视觉理解和可解释推理,成为计算机视觉研究热点之一.但由于现存的视觉场景中目标和目标之间关系标注的不平衡,导致现有的场景图生成方法受到数据集偏置影响.对场景图数据失衡问题进行研究,提出一种基于外部信息引导和残差置乱相结合的场景图生成方法(EGRES),缓解数据集偏置对场景图生成的负面影响.该方法利用外部知识库中无偏置的常识性知识规范场景图的语义空间,缓解数据集中关系数据分布不平衡的问题,以提高场景图生成的泛化能力;利用残差置乱方式对视觉特征和提取的常识性知识进行融合,规范场景图生成网络.在VG数据集上的对比实验和消融实验证明,提出的方法可以有效改善场景图生成.对于数据集中不同标签的对比实验证明,提出的方法可以改善绝大多数关系类别的生成性能,尤其是中低频关系类别下的场景图生成性能,极大地改善了数据标注失衡的问题,比现有的场景图生成方法具有更好的生成效果.

关键词：数据集偏置;残差置乱;外部知识库;场景图生成

所属期刊栏目：15

分类号：TP391(计算技术、计算机技术)

资助基金：国家自然科学基金;江苏省高校自然科学基金重点项目;吉林大学符号计算与知识工程教育部重点实验室项目;江苏高校优势学科建设工程资助项目

在线出版日期：2021-10-18（万方平台首次上网日期，不代表论文的发表时间）

页数：共11页

页码：1958-1968