基于Transformer的普通话语声识别模型位置编码选择

摘要：

具有自注意机制的Transformer网络在语声识别研究领域渐渐得到广泛关注.该文围绕着将位置信息嵌入与语声特征相结合的方向,研究更加适合普通话语声识别模型的位置编码方法.实验结果得出,采用卷积编码的输入表示代替正弦位置编码,可以更好地融合语声特征上下文联系和相对位置信息,获得较好的识别效果.训练的语声识别系统是在Transformer模型基础上,比较4种不同的位置编码方法.结合3-gram语言模型,所提出的卷积位置编码方法,在中文语声数据集AISHELL-1上的误识率降低至8.16％.

关键词：自注意力、位置编码、卷积

所属期刊栏目：40

分类号：TP912.34

在线出版日期：2021-04-01（万方平台首次上网日期，不代表论文的发表时间）

页数：共6页

页码：194-199