一种数据处理方法、装置、设备及存储介质
本发明实施例公开了一种数据处理方法、装置、设备及存储介质，其中，该方法包括：服务器按照预设时间窗获取语音帧序列并确定出语音帧序列的特征信息，根据该特征信息确定第一层时间截断的自注意力网络的输入信息，针对任意一层时间截断的自注意力网络，将输入信息以及上一层时间截断的自注意力网络的输出结果输入任意一层时间截断的自注意力网络，以对语音识别模型进行训练，并得到训练后的语音识别模型。通过上述实施例，将第一层时间截断的自注意力网络的输入信息输入到每一层时间截断的自注意力网络进行训练，从而可以减少在对语音识别模型训练过程中语音特征信息的丢失，提高语音识别模型的语音识别率。
发明专利
CN202010734850.X
2020-07-27
CN111862956A
2020-10-30
G10L15/06(2013.01)
腾讯科技(深圳)有限公司
曹松军;马龙
518057 广东省深圳市南山区高新区科技中一路腾讯大厦35层
广州三环专利商标代理有限公司
熊永强%杜维
广东;44
1.一种数据处理方法，其特征在于，所述方法应用于语音识别模型的训练，所述语音识别模型包括多层时间截断的自注意力网络，所述方法包括： 按照预设时间窗获取语音帧序列，并确定所述语音帧序列的特征信息； 根据所述特征信息确定第一层时间截断的自注意力网络的输入信息； 针对任意一层时间截断的自注意力网络，将所述输入信息以及上一层时间截断的自注意力网络的输出结果输入所述任意一层时间截断的自注意力网络，以对所述语音识别模型进行训练，并得到训练后的语音识别模型。 2.根据权利要求1所述的方法，其特征在于，所述特征信息包括功率归一化倒谱系数特征和身份认证矢量特征，所述根据所述特征信息确定第一层时间截断的自注意力网络的输入信息，包括： 对所述功率归一化倒谱系数特征和所述身份认证矢量特征进行线性判别分析处理，得到融合信息； 将所述融合信息输入全连接网络进行处理，并将所述全连接网络的输出作为第一层时间截断的自注意力网络的输入信息。 3.根据权利要求1或2所述的方法，其特征在于，所述任意一层时间截断的自注意力网络包括级联的整合处理层、第一全连接层、自注意力层、第一激活函数层和第一规范化层。 4.根据权利要求3所述的方法，其特征在于，所述任意一层时间截断的自注意力网络还包括连接在所述第一规范化层之后，且级联的第二全连接层、第二激活函数层、第二规范化层和正则化层。 5.根据权利要求1所述的方法，其特征在于，所述按照预设时间窗获取语音帧序列，包括： 按照预设时间窗从语音数据中截取语音信号； 对所述语音信号进行预处理，以得到对应的语音帧序列，所述预处理包括降噪、音源定位以及回音消除中的一种或多种。 6.根据权利要求5所述的方法，其特征在于，所述方法包括： 获取所述语音数据的验证集数据和/或测试集数据； 将所述验证集数据或所述测试集数据输入所述训练后的语音识别模型，得到测验结果； 根据所述测验结果与对应的所述验证集数据或所述测试集数据之间的差异调整所述训练后的语音识别模型的网络参数。 7.一种语音识别方法，其特征在于，所述方法包括： 获取待识别的语音数据； 利用语音识别模型对所述语音数据进行发音映射处理，以得到所述语音数据的发音数据，所述语音识别模型包括多层时间截断的自注意力网络，所述语音识别模型是通过针对任意一层时间截断的自注意力网络，将第一层时间截断的自注意力网络的输入信息以及上一层时间截断的自注意力网络的输出结果输入所述任意一层时间截断的自注意力网络，以进行训练得到的； 利用语言模型和发音词典对所述发音数据进行识别处理，以得到所述语音数据对应的文本信息。 8.一种数据处理装置，其特征在于，所述装置应用于语音识别模型的训练，所述语音识别模型包括多层时间截断的自注意力网络，所述装置包括： 获取模块，用于按照预设时间窗获取语音帧序列； 确定模块，用于确定所述语音帧序列的特征信息； 所述确定模块，用于根据所述特征信息确定第一层时间截断的自注意力网络的输入信息； 处理模块，用于针对任意一层时间截断的自注意力网络，将所述输入信息以及上一层时间截断的自注意力网络的输出结果输入所述任意一层时间截断的自注意力网络，以对所述语音识别模型进行训练，并得到训练后的语音识别模型。 9.一种数据处理设备，其特征在于，包括处理器、输入设备、输出设备和存储器，所述处理器、输入设备、输出设备和存储器相互连接，其中，所述存储器用于存储计算机程序，所述计算机程序包括程序指令，所述处理器被配置用于调用所述程序指令，执行如权利要求1-7任一项所述的方法。 10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机程序，所述计算机程序包括程序指令，所述程序指令当被处理器执行时使所述处理器执行如权利要求1-7任一项所述的数据处理方法。