循环神经网络结构中激活函数的改进

摘要：

循环神经网络相比于其他深度学习网络，优势在于可以学习到长时依赖知识，但学习过程中的梯度消失和爆炸问题严重阻碍了知识的按序传播，导致长时依赖知识的学习结果出现偏差。为此，已有研究主要对经典循环神经网络的结构进行改进以解决此类问题。本文分析2种类型的激活函数对传统RNN和包含门机制RNN的影响，在传统RNN结构的基础上提出改进后的模型，同时对LSTM和GRU模型的门机制进行改进。以PTB经典文本数据集和LMRD情感分类数据集进行实验，结果表明改进后的模型优于传统模型，能够有效提升模型的学习能力。

关键词：深度学习、循环神经网络、激活函数、LSTM模型、GRU模型

分类号：TP311(计算技术、计算机技术)

资助基金：国家科技支撑计划项目2013BAB06B04,HNKJ13-H17-04;国家自然科学基金面上资助项目61272543;水利部公益性行业科研专项重点项目201501007;NSFC-广东联合基金重点项目U1301252

在线出版日期：2017-01-16（万方平台首次上网日期，不代表论文的发表时间）

页数：共5页

页码：29-33