非饱和区扩展的RNN算法优化

摘要：

针对长短时记忆网络(LSTM)型循环神经网络(RNN)收敛速度慢,提出了扩展激活函数非饱和区的RNN算法优化.针对LSTM型RNN的训练过程收敛速度慢的原因以及激活函数的性质,提出了加快RNN训练过程收敛的解决方法.通过字符级语言模型对优化方法进行了验证,结果表明:非饱和区扩展的RNN算法优化有效地加快了RNN训练过程的收敛.

关键词：循环神经网络、长短时记忆网络、激活函数

所属期刊栏目：37

分类号：TP301.6;TN911(计算技术、计算机技术)

资助基金：国家"863"计划资助项目2012AA041701

在线出版日期：2018-05-11（万方平台首次上网日期，不代表论文的发表时间）

页数：共3页

页码：41-43