基于对抗训练策略的语言模型数据增强技术
基于最大似然估计(Maximum likelihood estimation, MLE) 的语言模型(Language model, LM) 数据增强方法由于存在暴露偏差问题而无法生成具有长时语义信息的采样数据.本文提出了一种基于对抗训练策略的语言模型数据增强的方法,通过一个辅助的卷积神经网络判别模型判断生成数据的真伪,从而引导递归神经网络生成模型学习真实数据的分布.语言模型的数据增强问题实质上是离散序列的生成问题.当生成模型的输出为离散值时,来自判别模型的误差无法通过反向传播算法回传到生成模型.为了解决此问题,本文将离散序列生成问题表示为强化学习问题,利用判别模型的输出作为奖励对生成模型进行优化,此外,由于判别模型只能对完整的生成序列进行评价,本文采用蒙特卡洛搜索算法对生成序列的中间状态进行评价.语音识别多候选重估实验表明,在有限文本数据条件下,随着训练数据量的增加,本文提出的方法可以进一步降低识别字错误率(Character error rate, CER),且始终优于基于MLE的数据增强方法.当训练数据达到6 M词规模时,本文提出的方法使THCHS 30数据集的CER相对基线系统下降5.0 %,AISHELL数据集的CER相对下降7.1 %.
数据增强、语言模型、生成对抗网络、强化学习、语音识别
44
国家自然科学基金11590770-4,U1536117,11504406,11461141004;国家重点研发计划2016YFB0801203,2016YFB0801200;新疆维吾尔自治区科技重大专项2016A03007-1资助 Supported by National Natural Science Foundation of China11590770-4,U1536117,11504406,11461141004;National Key Research and Development Plan2016YFB0801203,2016YFB0801200;Key Science and Technology Project of Xinjiang Uygur Autonomous Region2016A03007-1
2018-06-20（万方平台首次上网日期，不代表论文的发表时间）
共10页
891-900
