针对特定领域的新词发现方法研究

摘要：

如何准确识别文本中的领域新词是保证企事业内数据安全中的一项重要任务,针对特定领域语料的特性,提出一种针对特定领域的新词发现方法.首先预处理语料,其次采用Jieba结合本领域的成词策略分词,N-gram滑动取词得到候选词串,再次利用点互信息、邻接熵、词频与归一化得分筛选新词,从次新词向量化并降维,最后K-means分离领域或常用新词,从而得到领域新词集.解决了通用新词发现方法在特定领域的不适应性问题,在某领域约10万行的语料数据上,通过对比实验验证了上述方法的有效性.

关键词：新词发现、点互信息、邻接熵、聚类

所属期刊栏目：39

分类号：TP393.08(计算技术、计算机技术)

在线出版日期：2022-07-28（万方平台首次上网日期，不代表论文的发表时间）

页数：共6页

页码：269-273,335