面向深度学习的多模态情感识别研究进展

摘要：

多模态情感识别是指通过与人类情感表达相关的语音、视觉、文本等不同模态信息来识别人的情感状态.该研究在人机交互、人工智能、情感计算等领域有着重要的研究意义,备受研究者关注.鉴于近年来发展起来的深度学习方法在各种任务中所取得的巨大成功,目前各种深度神经网络已被用于学习高层次的情感特征表示,用于多模态情感识别.为了系统地总结深度学习方法在多模态情感识别领域中的研究现状,拟对近年来面向深度学习的多模态情感识别研究文献进行分析与归纳.首先,给出了多模态情感识别的一般框架,并介绍了常用的多模态情感数据集.然后,简要回顾了代表性深度学习技术的原理及其进展.随后,重点详细介绍了多模态情感识别中的两个关键步骤的研究进展:与语音、视觉、文本等不同模态相关的情感特征提取方法,包括手工特征和深度特征;融合不同模态信息的多模态信息融合策略.最后,分析了该领域面临的挑战和机遇,并指出了未来的发展方向.

关键词：情感识别、多模态、深度学习、手工特征、深度特征、融合

所属期刊栏目：16

分类号：TP391(计算技术、计算机技术)

资助基金：浙江省自然科学基金重点项目;国家自然科学基金

在线出版日期：2022-07-26（万方平台首次上网日期，不代表论文的发表时间）

页数：共25页

页码：1479-1503