基于多头注意力机制的模型层融合维度情感识别方法

摘要：

近年来,情感识别成为了人机交互领域的研究热点问题,而多模态维度情感识别能够检测出细微情感变化,得到了越来越多的关注多模态维度情感识别中需要考虑如何进行不同模态情感信息的有效融合.针对特征层融合存在有效特征提取和模态同步的问题、决策层融合存在不同模态特征信息的关联问题,本文采用模型层融合策略,提出了基于多头注意力机制的多模态维度情感识别方法,分别构建音频模型、视频模型和多模态融合模型对信息流进行深层特征学习,最后放入双向长短时网络中得到最终情感预测值.所提方法相比于不同基线方法在激活度和愉悦度上均取得了最佳的性能,可以在高层维度对隋感信息有效捕捉,进而更好的对音视频信息进行有效融合.

关键词：维度情感识别、多模态情感融合、模型层融合、多头注意力机制

所属期刊栏目：37

分类号：TP391.4(计算技术、计算机技术)

资助基金：国家重点研发计划;国家自然科学基金;国家自然科学基金;国家自然科学基金;国家自然科学基金;天津市自然科学基金;河北省自然科学基金

在线出版日期：2021-06-21（万方平台首次上网日期，不代表论文的发表时间）

页数：共8页

页码：885-892