结合信息量和深度学习的领域新词发现

摘要：

针对传统的新词发现中,数据的稀疏性使一些低频新词无法识别等问题,提出一种对分词结果计算信息量且将深度学习模型BiLstm-CRF用于新词发现的方法,计算出的信息量用以表示词语内部粘合度和分离度,并加入人工规则进行过滤.BiLstm-CRF模型精度高,对词向量的依赖小,考虑到上下文信息.信息量和模型两部分的结合解决了大量人工序列标注问题,提高了低频新词的识别率.实验结果表明,该方法能有效提高了新词识别的准确率.

关键词：新词发现、信息量、粘合度、分离度、BiLstm-CRF模型

所属期刊栏目：40

分类号：TP391.43(计算技术、计算机技术)

资助基金：广西高校云计算与复杂系统重点实验室基金项目yf17106;桂林市科学研究与技术开发计划基金项目2016010406-1;广西科技攻关计划基金项目桂科攻1598019-6;桂林电子科技大学研究生创新基金项目2016YJCX64

在线出版日期：2019-08-02（万方平台首次上网日期，不代表论文的发表时间）

页数：共6页

页码：1903-1907,1914