基于混合式注意力机制的语音识别研究

摘要：

为了解决语音识别中基于卷积位置信息的混合式注意力机制无法提取长期有效位置信息的问题,提出了一种捕捉长期有效位置信息的新型混合式注意力机制.首先,对当前时刻生成的注意力得分作卷积来提取多通道特征图,并通过全局平均池化来得到恒定维度的特征向量;接着,引入长短期记忆网络(long short-term memo-ry,LSTM)单元作为外部记忆模块,并以生成的特征向量作为输入,生成下一时刻的位置信息向量;最后,结合经典的LAS(listen,attend and spell)模型来验证提出方案的有效性.实验结果表明,该方案能充分考虑过去多个时刻的注意力得分.相对于基于卷积位置信息的LAS模型,该方案在纯净和含噪语音数据集上取得的标签错误率分别减少了1.8％和2.21％.

关键词：卷积、注意力机制、全局平均池化、长短期记忆网络、LAS模型

所属期刊栏目：37

分类号：TP391.4(计算技术、计算机技术)

资助基金：军委装备发展部"十三五"装备预研基金资助项目

在线出版日期：2020-06-16（万方平台首次上网日期，不代表论文的发表时间）

页数：共4页

页码：131-134