基于多模态模式迁移的知识图谱实体配图

摘要：

构建多模态知识图谱的核心在于为知识图谱中的实体匹配正确合适的图像.现有的实体配图方法主要将百科图谱以及图像搜索引擎作为实体候选图像的来源,但对图像数据元的应用方式比较简单,不能准确把握图像数据来源的特点,且可扩展性较差.提出一种基于多模态模式迁移的知识图谱实体配图方法,从不同类别的头部实体中抽取对应的语义模板及视觉模式迁移到同类非头部实体的图像获取过程中,其中语义模板用于构建搜索引擎检索关键词,视觉模式用于对检索结果去噪,最终为WikiData中25类共1.278×105个实体收集1.8×106幅图像.实验结果表明,与IMGpedia、VisualSem、Richpedia和MMKG这4种多模态知识图谱相比,利用该方法构建所得的知识图谱中实体对应的图像在准确性和多样性上更具优势,在下游任务链接预测中,通过引入该方法收集到的图像可使模型的预测链接准确性得到显著提升,在Hits@10的指标上取得59.74％的准确率,较对比方法提高12.7个百分点以上.

关键词：多模态知识图谱、符号接地、模式迁移、链接预测、实体配图

所属期刊栏目：48

分类号：TP391.1(计算技术、计算机技术)

资助基金：上海市科技创新行动计划19511120400

在线出版日期：2022-09-05（万方平台首次上网日期，不代表论文的发表时间）

页数：共7页

页码：70-76