一种语音反讽检测方法、系统、终端设备和存储介质
本发明涉及语音识别检测技术领域，公开了一种语音反讽检测方法、系统、终端设备和存储介质，包括：对输入的语音特征向量进行文本表征提取，获取输入的语音特征向量的语义信息；对输入的语音特征向量进行非文本表征提取，获取输入的语音特征向量的生理信息；将提取的语义信息和生理信息进行向量拼接，作为k层全连接网络的输入向量，经训练得到输入的语音特征向量的反讽识别结果。本发明在使用一般书面文本作为反讽检测任务输入的同时，对原始音频中隐含的情绪、语气和停顿等非文本特征加以利用，并将两类特征转化为高层次表征，将结果合并起来进行决策，以达到更好的反讽识别准确率。
发明专利
CN202011507130.6
2020-12-18
CN112735404A
2021-04-30
G10L15/22(2006.01)
平安科技(深圳)有限公司
罗剑;王健宗;程宁
518000 广东省深圳市福田区福田街道福安社区益田路5033号平安金融中心23楼
北京中巡通大知识产权代理有限公司
张弘
广东;44
1.一种语音反讽检测方法，其特征在于，包括以下步骤： 对输入的语音特征向量进行文本表征提取，获取输入的语音特征向量的语义信息； 对输入的语音特征向量进行非文本表征提取，获取输入的语音特征向量的生理信息； 将提取的语义信息和生理信息进行向量拼接，作为k层全连接网络的输入向量，经训练得到输入的语音特征向量的反讽识别结果。 2.根据权利要求1所述的语音反讽检测方法，其特征在于，所述获取输入的语音特征向量的语义信息的具体方法如下： 对输入的语音特征向量进行语义识别，通过语义识别得到语音特征向量所对应的语句，输出所述语句所对应的文本表征；选取设定时间段的上下文进行建模，捕捉所述语句所在设定时间段的上下文的中心思想； 对输入的语音特征向量进行语音识别，输出所述语句所对应的非文本表征，捕捉整个时间序列中的非文本表征向量，判断整句话是否存在情绪的改变。 3.根据权利要求1或2所述的语音反讽检测方法，其特征在于，所述对输入的语音特征向量进行文本表征提取的具体方法如下： 采用Chain模型进行语音识别，对于输入的语音特征向量xt，i，i∈1，2，...,τ，Chain模型输出句子所对应的文本St： 式中，t表示某句话所在的时间段 所述反讽检测使用BERT，预训练后得到表征Htext，选取从时间段t-a到t+a的上下文st-a，...,st，...，st+a来进行建模，捕捉语句所在字段的中心思想； Htext＝BERT(concat(st-a，...，st，...，st+a))。 4.根据权利要求2所述的语音反讽检测方法，其特征在于，所述步骤2的具体方法如下： 使用LSTM结构来输出句子级别的非文本表征Hnon-text： Hnon-text＝MaxPooling(LSTM(xt，1,xt,2,...,xt,τ)) 式中使用最大池化以捕捉整个时间序列中的特殊值，由此判断整句话是否存在明显的情绪的改变。 5.根据权利要求4所述的语音反讽检测方法，其特征在于，所述步骤2中，使用傅里叶变换和SincNet卷积滤波器单独定义的函数来计算所需的特征向量，或者增加语音帧的采样长度。 6.根据权利要求4所述的语音反讽检测方法，其特征在于，所述步骤3的具体方法如下： 采用分类交叉熵作为目标函数，使用反向传播算法进行优化： H＝concat(Htext，Hnon-text) Z＝softmax(Wk(...(A1W1H))) 其中，H表示将当前句所在的时间段的文本表征和非文本表征对应拼接在一起的输入；Z表示经过softmax函数之后，每一个反讽标签预测的概率；Wi，Ai分别表示权重和激活函数；L表示损失函数，N表示反讽标签的总数量，n表示每一个反讽标签，所述反讽标签包括讽刺、嘲笑、鄙视以及挖苦；Yi为真实的标签向量，Zi为预测向量；最后一层的激活函数为softmax函数。 7.一种语音反讽检测系统，其特征在于，包括： 文本表征提取模块，所述文本表征提取模块用于对输入的语音特征向量进行语音识别和反讽检测，输出语句所对应的文本表征；选取设定时间段的上下文进行建模，捕捉语句所在字段的中心思想； 非文本表征提取模块，所述非文本表征提取用于对输入的语音特征向量进行识别，输出语句所对应的非文本表征，捕捉整个时间序列中的特殊值，判断整句话是否存在语气、腔调的改变； 合并决策模块，所述合并决策模块用于按照时间标记，将当前句所在的时间段的文本表征和非文本表征对应拼接在一起作为输入，经过全连接网络得到最终的分类结果。 8.一种终端设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1-6任一项所述方法的步骤。 9.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1-6任一项所述方法的步骤。