一种动物声音情感特征集合排序识别方法及系统
本发明公开了一种动物声音情感特征集合排序识别方法，通过特征提取来获得动物声音特征集，以海量的样本数量确保分类效果，开发人员还可以根据任务特点自定义特征因子；通过特征排序，以初步确定不同特征在情感识别任务中的可信度；通过异常特征权重补偿，以实现特征序列的初步调整；通过深度学习模型补偿，以进一步优化特征序列，从而使得声音情感识别的特征集合具有连续性和稳定性，提高声音情感识别精度。
发明专利
CN202011511415.7
2020-12-18
CN112634947A
2021-04-09
G10L25/63(2013.01)
大连东软信息学院
贾宁;郑纯军;李帅;叶剑锋;郭耸;关思雨;崔新明;王江浩
116000 辽宁省大连市甘井子区软件园路8号
大连至诚专利代理事务所(特殊普通合伙)
张海燕%杨威
辽宁;21
1.一种动物声音情感特征集合排序识别方法，其特征在于，包括： 获取所述动物声音的声学特征，并构建所述动物声音的特征集合； 根据所述特征集合进行动物情感分类标注，按照不同的所述动物情感类别标注对动物声音情感特征进行相关性分析并排序，获得相关性特征列表； 筛选出所述相关性特征列表中的异常特征，通过对所述异常特征权重补偿以消除所述异常特征的位置偏差，获得初步补偿后的特征序列； 建立动物声音情感分类识别模型；根据所述初步补偿后的特征序列，采用深度学习方法对所述模型进行训练，获得二次补偿后的特征序列； 将动物的声音音频输入所述动物声音情感分类识别模型，根据所述二次补偿后的特征序列识别所述动物的声音情感。 2.根据权利要求1所述的一种动物声音情感特征集合排序识别方法，其特征在于，所述声学特征，包括：低级描述符和高级统计函数； 所述低级描述符，包括： 谱特征、共振峰、谐噪比、基频扰动、谐波、梅尔频率倒谱系数、振幅微扰、频谱斜率、谱通量、音强、等效声级及基频； 所述高级统计函数，包括： 均值、方差、协方差、20分位数、50分位数、80分位数、20-80分位数、上升信号包络均值、上升信号包络标准差、下降信号包络均值、下降信号包络标准差、偏度、峰度及四分卫。 3.根据权利要求2所述的一种动物声音情感特征集合排序识别方法，其特征在于，所述根据所述特征集合进行动物情感分类标注，按照不同的所述动物情感类别标注对动物声音情感特征进行相关性分析并排序，获得相关性特征列表，包括： 所述动物情感特征，包括：愤怒、高兴、平静及悲伤； 利用Person分析方法对所述动物情感特征进行相关性分析，计算方法如公式(1)所示： 式中，分别是变量x、y的均值，xi、yi分别是变量x,y的第i个观测点的值；样本相关系数r的取值范围是”-1,1”，r的绝对值越大，变量x、y的相关程度越强；n是特征维数； 对所有的所述动物情感特征求取相关性后进行降序排序，获得相关性特征列表Lrank。 4.根据权利要求3所述的一种动物声音情感特征集合排序识别方法，其特征在于，所述筛选出所述相关性特征列表中的异常特征，通过对所述异常特征权重补偿以消除所述异常特征的位置偏差，获得初步补偿后的特征序列，包括： 采用公式(2)和(3)对所述相关性特征列表Lrank中的每个特征进行评分； 式中，σ1、σ2分别是不同的角度扩张特征和声学信号特征的评分列表；N表示语音总数；D(i,j)是Lrank中第i个特征的第j个语音信号的特征值；λ是惩罚系数； 针对σ1和σ2评分列表分别排序，列举出所述σ1和σ2评分列表中的离群值，并记录所述离群值在列表中的位置；所述离群值为所述相关性特征列表中的异常特征； 通过所述异常特征权重补偿算法消除所述异常特征的位置偏差，获得初步补偿后的特征序列。 5.根据权利要求4所述的一种动物声音情感特征集合排序识别方法，其特征在于，所述异常特征权重补偿算法，包括： 遍历所有设定范围内的离群值； 从第一个所述离群值开始，将所述离群值的排序位置向后顺延一位； 利用公式(2)和(3)进行计算，判断当前离群值的数量是否为零； 若当前离群值的数量不为零，重复将所述离群值的排序位置向后顺延一位，并利用公式(2)和(3)进行计算；若当前离群值的数量为零，继续遍历下一个离群值，并进行将所述离群值的排序位置向后顺延一位之后的运算，直至设定范围内的离群值的数量全部为零。 6.根据权利要求5所述的一种动物声音情感特征集合排序识别方法，其特征在于，所述建立动物声音情感分类识别模型，包括： 建立双向三层的LSTM模型，所述LSTM模型的结构如公式(4)所示： 式中，Wf、Wi、Wo分别为忘记门、输入门、单元和输出门的权重，bf、bi、bo分别为Wf、Wi、Wo所对应的偏置；xt为输入序列；ht为隐藏层状态；ft为忘记门；it为输入门；ot为输出门；Ct为当前单元。 7.根据权利要求6所述的一种动物声音情感特征集合排序识别方法，其特征在于，所述采用深度学习方法对所述模型进行训练，包括： 采用Softmax函数对所述初步补偿后的特征序列进行分类，表达式为： 其中，Wscij表示去除静音后的Softmax函数值；i和j分别代表第i个分类和第j个语音；i的上限是分类数量Nclass；即声音分类总数；Result(j)则是分类结果。 8.根据权利要求7所述的一种动物声音情感特征集合排序识别方法，其特征在于，所述采用Softmax函数对所述二次补偿后的特征序列进行分类之后，还包括： 采用加权精度WA作为指标，以监测所述动物声音情感分类识别模型的整体性能； 通过公式(7)计算加权精度WA； 式中，TPi代表每类的真正例，FPi代表每类的假正例。 9.根据权利要求8所述的一种动物声音情感特征集合排序识别方法，其特征在于，所述采用Softmax函数对所述二次补偿后的特征序列进行分类，包括： 通过计算将所述动物声音情感分为四类，包括： S91、以Lrank长度的1/Nclass为限，将序号范围属于”0,Lrank/Nclass”的特征归为第一类，序号范围属于”Lrank/Nclass+1,Lrank”的特征归为第四类； S92、从第一类队列中挑选一个特征Lrankj，其中，j是特征序号；对所述特征Lrankj进行模型训练，输入特征的序号分别为：”1,j-1”,”1,j”,”1,j+1”,”1,j+d”,其中，d是待测试特征队列的宽度； S93、如果位置为”1,j”的特征的WA值低于其他几组，将第j个特征调整为第三类； S94、重复执行S92-S93，直至遍历第一类队列中的所有特征； S95、从第四类队列中挑选一个特征Lrankj，其中j是特征序号，对所述特征Lrankj进行模型训练，输入特征的序号分别为：”1,j-d”,…”1,j-1”,”1,j”； S96、当特征”1,j”的WA值高于其他几组时，将第j个特征调整为第二类； S97、重复执行S95-S96，直至第四类队列中序号范围属于Lrank/Nclass+1之后排名的特征。 10.一种动物声音情感特征集合排序识别系统，其特征在于，包括： 特征提取单元、特征排序单元、异常特征权重补偿单元及深度学习模型补偿单元； 所述特征提取单元用于获取动物声音的声学特征，并构建所述动物声音的特征集合； 所述特征排序单元用于根据所述特征集合进行动物情感分类标注，按照不同的所述动物情感类别标注对动物声音情感特征进行相关性分析并排序，获得相关性特征列表； 所述异常特征权重补偿单元用于筛选出所述相关性特征列表中的异常特征，通过对所述异常特征权重补偿以消除所述异常特征的位置偏差，获得初步补偿后的特征序列； 所述深度学习模型补偿单元用于建立动物声音情感分类识别模型；根据所述初步补偿后的特征序列，采用深度学习方法对所述模型进行训练，获得二次补偿后的特征序列。