10.16208/j.issn1000-7024.2019.07.017
结合信息量和深度学习的领域新词发现
针对传统的新词发现中,数据的稀疏性使一些低频新词无法识别等问题,提出一种对分词结果计算信息量且将深度学习模型BiLstm-CRF用于新词发现的方法,计算出的信息量用以表示词语内部粘合度和分离度,并加入人工规则进行过滤.BiLstm-CRF模型精度高,对词向量的依赖小,考虑到上下文信息.信息量和模型两部分的结合解决了大量人工序列标注问题,提高了低频新词的识别率.实验结果表明,该方法能有效提高了新词识别的准确率.
新词发现、信息量、粘合度、分离度、BiLstm-CRF模型
40
TP391.43(计算技术、计算机技术)
广西高校云计算与复杂系统重点实验室基金项目yf17106;桂林市科学研究与技术开发计划基金项目2016010406-1;广西科技攻关计划基金项目桂科攻1598019-6;桂林电子科技大学研究生创新基金项目2016YJCX64
2019-08-02(万方平台首次上网日期,不代表论文的发表时间)
共6页
1903-1907,1914