一种文本-图像增强的多模态知识图谱嵌入方法

摘要：

大多传统的知识表示学习方法只关注三元组中的结构化信息,无法很好地利用实体图像、关系路径、文本描述等附加信息来学习知识表示或只融合一种附加信息.因此,提出同时融合实体描述和图像的多模态知识图谱嵌入方法,通过文本、图像相互增强,可以提供更加全面的外部信息来弥补单个信息源的不完整性给知识表示学习带来的不足.首先进行实体描述和图像建模,得到实体的文本表示和图像表示,并把它们作为TransE中结构表示的补充,最后通过3种实体表示的联合训练实现知识图谱和文本、图像的统一空间表示,提高实体和关系预测的准确性.实验结果表明,该模型实体预测的命中率比不融合附加信息的方法提高了 3.09％,比只融合实体描述的方法提高了 0.97％,比只融合实体图像的方法提高了 1.32％.

关键词：知识表示学习、实体描述、实体图像、Text-CNN、联合训练

所属期刊栏目：50

分类号：TP183(自动化基础理论)

在线出版日期：2023-08-18（万方平台首次上网日期，不代表论文的发表时间）

页数：共7页

页码：163-169