基于自注意力机制的中文标点符号预测模型

摘要：

中文标点符号预测是自然语言处理的一项重要任务,能够帮助人们消除歧义,更准确地理解文本.为解决传统自注意力机制模型不能处理序列位置信息的问题,提出一种基于自注意力机制的中文标点符号预测模型.在自注意力机制的基础上堆叠多层Bi-LSTM网络,并结合词性与语法信息进行联合学习,完成标点符号预测.自注意力机制可以捕获任意两个词的关系而不依赖距离,同时词性和语法信息能够提升预测标点符号的正确率.在真实新闻数据集上的实验结果表明,该模型F1值达到85.63％,明显高于传统CRF、LSTM预测方法,可实现对中文标点符号的准确预测.

关键词：标点符号预测、自注意力机制、Bi-LSTM网络、深度神经网络、自然语言处理

所属期刊栏目：46

分类号：TP18(自动化基础理论)

资助基金：国家自然科学基金;教育部人文社会科学研究青年基金;北京市自然科学基金

在线出版日期：2020-05-29（万方平台首次上网日期，不代表论文的发表时间）

页数：共7页

页码：291-297