视觉知识:跨媒体智能进化的新支点

摘要：

回顾跨媒体智能的发展历程,分析跨媒体智能的新趋势与现实瓶颈,展望跨媒体智能的未来前景.跨媒体智能旨在融合多来源、多模态数据,并试图利用不同媒体数据间的关系进行高层次语义理解与逻辑推理.现有跨媒体算法主要遵循了单媒体表达到多媒体融合的范式,其中特征学习与逻辑推理两个过程相对割裂,无法综合多源多层次的语义信息以获得统一特征,阻碍了推理和学习过程的相互促进和修正.这类范式缺乏显式知识积累与多级结构理解的过程,同时限制了模型可信度与鲁棒性.在这样的背景下,本文转向一种新的智能表达方式——视觉知识.以视觉知识驱动的跨媒体智能具有多层次建模和知识推理的特点,并易于进行视觉操作与重建.本文介绍了视觉知识的3个基本要素,即视觉概念、视觉关系和视觉推理,并对每个要素展开详细讨论与分析.视觉知识有助于实现数据与知识驱动的统一框架,学习可归因可溯源的结构化表达,推动跨媒体知识关联与智能推理.视觉知识具有强大的知识抽象表达能力和多重知识互补能力,为跨媒体智能进化提供了新的有力支点.

关键词：跨媒体智能、视觉知识、视觉概念、视觉关系、视觉推理

所属期刊栏目：27

分类号：TP391.7(计算技术、计算机技术)

资助基金：国家重点研发计划;中央高校基本科研业务费专项

在线出版日期：2022-09-27（万方平台首次上网日期，不代表论文的发表时间）

页数：共15页

页码：2574-2588