多模态知识图谱表示学习综述

摘要：

在综合对比传统知识图谱表示学习模型优缺点以及适用任务后,发现传统的单一模态知识图谱无法很好地表示知识.因此,如何利用文本、图片、视频、音频等多模态数据进行知识图谱表示学习成为一个重要的研究方向.同时,详细分析了常用的多模态知识图谱数据集,为相关研究人员提供数据支持.在此基础上,进一步讨论了文本、图片、视频、音频等多模态融合下的知识图谱表示学习模型,并对其中各种模型进行了总结和比较.最后,总结了多模态知识图谱表示学习如何改善经典应用,包括知识图谱补全、问答系统、多模态生成和推荐系统在实际应用中的效果,并对未来的研究工作进行了展望.

关键词：多模态知识图谱、表示学习、多模态融合、知识图谱补全、多模态生成

所属期刊栏目：44

分类号：TP182(自动化基础理论)

在线出版日期：2024-01-31（万方平台首次上网日期，不代表论文的发表时间）

页数：共15页

页码：1-15