多模态深度学习综述

摘要：

模态是指人接收信息的方式,包括听觉、视觉、嗅觉、触觉等多种方式.多模态学习是指通过利用多模态之间的互补性,剔除模态间的冗余性,从而学习到更好的特征表示.多模态学习的目的是建立能够处理和关联来自多种模式信息的模型,它是一个充满活力的多学科领域,具有日益重要和巨大的潜力.目前比较热门的研究方向是图像、视频、音频、文本之间的多模态学习.着重介绍了多模态在视听语音识别、图文情感分析、协同标注等实际层面的应用,以及在匹配和分类、对齐表示学习等核心层面的应用,并针对多模态学习的核心问题:匹配和分类、对齐表示学习方面给出了说明.对多模态学习中常用的数据集进行了介绍,并展望了未来多模态学习的发展趋势.

关键词：多模态学习、多模态应用、多模态融合、共享表示空间

所属期刊栏目：56

分类号：TP181(自动化基础理论)

资助基金：国家自然科学基金青年科学基金No.61401269

在线出版日期：2020-11-12（万方平台首次上网日期，不代表论文的发表时间）

页数：共10页

页码：1-10