基于BI_LSTM_CRF神经网络的序列标注中文分词方法

摘要：

当前主流的中文分词方法是基于有监督的学习算法,该方法需要大量的人工标注语料,并且提取的局部特征存在稀疏等问题.针对上述问题,提出一种双向长短时记忆条件随机场(BI_LSTM_CRF)模型,可以自动学习文本特征,能对文本上下文依赖信息进行建模,同时CRF层考虑了句子字符前后的标签信息,对文本信息进行了推理.该分词模型不仅在MSRA,PKU,CTB 6.0数据集上取得了很好的分词结果,而且在新闻数据、微博数据、汽车论坛数据、餐饮点评数据上进行了实验,实验结果表明,BI_LSTM_CRF模型不仅在测试集上有很好的分词性能,同时在跨领域数据测试上也有很好的泛化能力.

关键词：自然语言处理、中文分词、神经网络、双向长短时记忆条件随机场、字嵌入、序列标注

所属期刊栏目：42

分类号：TN711-34;TP391.1(基本电子电路)

资助基金：国家语委重点项目ZDI135-31;北京教育科学规划重点课题ADA14121;北京市属高校高水平教师队伍建设创新团队建设提升计划IDHT20170511

在线出版日期：2019-02-27（万方平台首次上网日期，不代表论文的发表时间）

页数：共5页

页码：95-99