基于图神经网络和注意力的双模态情感识别方法

摘要：

针对生理信号情感识别问题,提出一种基于图神经网络(GNN)和注意力的双模态情感识别方法.首先,使用GNN对脑电(EEG)信号进行分类;然后,使用基于注意力的双向长短期记忆(Bi-LSTM)网络对心电(ECG)信号进行分类;最后,通过Dempster-Shafer证据理论融合EGG和ECG分类结果,从而提高情感识别任务的综合性能.为验证所提方法的有效性,邀请20名受试者参与情感激发实验,并收集了受试者的EGG、ECG信号.实验结果表明,所提方法的二分类准确率在valence维度和arousal维度分别为91.82％和88.24％,相较于单模态EEG方法分别提高2.65％和0.40％,相较于单模态ECG方法分别提高19.79％和24.90％.可见,所提方法能够有效地提高情感识别的准确率,为医疗诊断等领域提供决策支持.

关键词：情感识别、多模态、脑电、心电、图神经网络、注意力

所属期刊栏目：43

分类号：TP391(计算技术、计算机技术)

资助基金：国家自然科学基金;国家自然科学基金;国家自然科学基金

在线出版日期：2023-03-30（万方平台首次上网日期，不代表论文的发表时间）

页数：共6页

页码：700-705