基于多操作网络的图式多域语音情感识别研究

摘要：

多域语音情感识别研究在语料标注方法、录制场景以及交互方式等方面存在差异性,使得构建多域语音情感识别系统变得较为复杂.设计一种基于多操作网络的多域语音情感识别模型,通过组合CASIA、EMODB、SAVEE3个单域数据库,构建Hybrid-CE、Hybrid-ES、Hybrid-CS、Hybrid-CES 4种多域语音情感数据库及层级多操作网络(HMN).HMN网络由2个异构并行分支组成,左分支由2个同构并行的一维卷积层构成,卷积层的神经元数量均为128,右分支由并行的Bi-GRU层和Bi-LSTM层构成,GRU和LSTM的记忆单元数量均为64.将原始数据投影到不同的变换空间进行计算,从而更准确地表征语音的情感信息.通过分层的Concate、Add和Multiply多操作运算,将左右分支提取的不同特征进行多重融合.在此基础上,计算梅尔频率倒谱系数、色谱图、谱对比度等低级描述符特征的高级统计函数,得到219维特征作为模型HMN的输入.实验结果表明,该模型在4种多域数据库上的Fl-score分别达到82.22％、65.02％、70.59％、73.47％,具有较好的鲁棒性和泛化性.

关键词：语音情感识别、韵律特征、谱特征、多特征融合、多操作网络

所属期刊栏目：48

分类号：TP183(自动化基础理论)

资助基金：国家自然科学基金62066039

在线出版日期：2022-09-16（万方平台首次上网日期，不代表论文的发表时间）

页数：共7页

页码：59-65