模型训练方法和设备
公开了一种模型训练方法和设备，其中，模型训练方法针对输入序列获取教师模型的识别结果和学生模型的识别结果，并且训练学生模型，使得教师模型的识别结果和学生模型的识别结果彼此无法被区分。
发明专利
CN201911326890.4
2019-12-20
CN112002309A
2020-11-27
G10L15/06(2013.01)
三星电子株式会社
罗辉栋;姜孝馨;金好庆;李镐式
韩国京畿道水原市
北京铭硕知识产权代理有限公司
方成%张川绪
韩国;KR
1.一种训练模型的方法，所述方法包括： 针对输入序列，获取教师模型的识别结果和学生模型的识别结果；并且 训练学生模型，使得教师模型的识别结果和学生模型的识别结果彼此无法被区分。 2.根据权利要求1所述的方法，其中，训练学生模型的步骤包括： 基于教师模型的识别结果和学生模型的识别结果彼此被区分的程度，确定对抗损失；并且 训练学生模型以减小对抗损失。 3.根据权利要求2所述的方法，其中，确定对抗损失的步骤包括： 基于针对输入序列分别被输出作为识别结果的教师模型的输出序列和学生模型的输出序列彼此被区分的程度，确定对抗损失。 4.根据权利要求3所述的方法，其中，确定对抗损失的步骤包括： 通过基于包括在输出序列中的元素的概率应用Gumbel-max，确定对抗损失。 5.根据权利要求3所述的方法，其中，确定对抗损失的步骤包括： 通过基于输出序列的概率应用Gumbel-max，确定对抗损失。 6.根据权利要求5所述的方法，其中，确定对抗损失的步骤包括： 通过基于可能对应于输出序列的多个候选序列的概率进一步应用Gumbel-max，确定对抗损失。 7.根据权利要求2所述的方法，其中，确定对抗损失的步骤包括： 基于针对输入序列分别被输出作为识别结果的教师模型的输出序列中的元素和学生模型的输出序列中的元素彼此被区分的程度，确定对抗损失。 8.根据权利要求7所述的方法，其中，确定对抗损失的步骤包括： 通过基于包括在输出序列中的元素的概率应用Gumbel-max，确定对抗损失。 9.根据权利要求1所述的方法，其中，训练学生模型的步骤包括： 训练学生模型，使得教师模型的识别结果和学生模型的识别结果无法通过判别器模型被区分彼此，并且 判别器模型被训练为在教师模型的识别结果与学生模型的识别结果之间进行区分。 10.根据权利要求1所述的方法，其中，训练学生模型的步骤包括： 使用教师模型的识别结果训练学生模型，使得教师模型的识别结果从学生模型输出。 11.根据权利要求1所述的方法，其中，输入序列包括： 包括词的句数据和包括帧的语音数据。 12.一种存储指令的非暂时性计算机可读存储介质，所述指令当由处理器执行时，使得处理器执行权利要求1所述的方法。 13.一种用于训练模型的设备，所述设备包括： 处理器，被配置为：针对输入序列，获取教师模型的识别结果和学生模型的识别结果；并且训练学生模型，使得教师模型的识别结果和学生模型的识别结果彼此无法被区分。 14.根据权利要求13所述的设备，其中，处理器还被配置为：基于教师模型的识别结果和学生模型的识别结果彼此被区分的程度，确定对抗损失；并且训练学生模型以减小对抗损失。 15.根据权利要求14所述的设备，其中，处理器还被配置为：基于针对输入序列分别被输出作为识别结果的教师模型的输出序列和学生模型的输出序列彼此被区分的程度，确定对抗损失。 16.根据权利要求15所述的设备，其中，处理器还被配置为：通过基于包括在输出序列中的元素的概率应用Gumbel-max，确定对抗损失。 17.根据权利要求15所述的设备，其中，处理器还被配置为；通过基于输出序列的概率应用Gumbel-max，确定对抗损失。 18.根据权利要求14所述的设备，其中，处理器还被配置为：基于针对输入序列分别被输出作为识别结果的教师模型的输出序列中的元素和学生模型的输出序列中的元素彼此被区分的程度，确定对抗损失。 19.根据权利要求13所述的设备，其中，处理器还被配置为：训练学生模型，使得教师模型的识别结果和学生模型的识别结果无法通过判别器模型被区分彼此，并且 判别器模型被训练为在教师模型的识别结果与学生模型的识别结果之间进行区分。 20.根据权利要求13所述的设备，其中，处理器还被配置为：使用教师模型的识别结果训练学生模型，使得教师模型的识别结果从学生模型输出。 21.根据权利要求13所述的设备，还包括：存储器，被配置为存储学生模型的参数，并且存储指令，所述指令当被执行时，将处理器配置为获取教师模型的识别结果和学生模型的识别结果，并且训练学生模型。 22.一种用于训练模型的设备，所述设备包括： 处理器，被配置为： 针对输入序列，获取教师模型的识别结果和学生模型的识别结果；并且 训练学生模型，以在判别器模型使教师模型的识别结果与学生模型的识别结果之间的区别最小化。