窥视孔连接的循环网络在中文分词上的研究

摘要：

长短期记忆网络(LSTM)可以捕捉潜在的长距离依赖关系,已被广泛应用于中文分词模型.为进一步提高其分词效果,针对记忆单元因结构问题在处理序列时错误遗忘关键信息的情况,引入了窥视孔连接(peepholes)重新构建分词模型.为优化长距离依赖,使用了梯度截断、引导信息流正则化等手段.通过构建多种网络结构的分词模型在当下流行数据集上的分词实验,以此构建的双向循环网络结果表明:窥视孔连接的记忆单元比原记忆单元更有效的获取了待分类字符的上下文特征,有效地改善了LSTM部分信息缺失的情况,增强了网络的记忆能力,提高了模型分词性能.

关键词：长短期记忆网络、序列标注、窥视孔连接、长距离依赖、梯度截断、中文分词

所属期刊栏目：55

分类号：TP391(计算技术、计算机技术)

资助基金：国家自然科学基金51378350;天津市科技发展战略计划17ZLZXZF00160

在线出版日期：2019-10-24（万方平台首次上网日期，不代表论文的发表时间）

页数：共6页

页码：160-165