基于信息熵-切分概率模型的新词发现方法

摘要：

新词发现是中文自然语言处理的基本任务,对于提升各种下游任务的性能至关重要.文中提出了一种基于信息熵-切分概率模型的新词发现方法,该方法首先基于信息熵从待处理文本中生成候选词集,然后对候选词集进行切分概率计算,从而筛选出真正的新词.针对有无待处理文本相关的标注语料,提出了两种不同的模型.在缺少待处理文本相关标注语料的情况下,使用通用的分词基准数据集训练了多标签Transformer-CRF模型;在具有专业标注语料的情况下,则引入了基于键值的记忆神经网络,以充分融合词语成词信息.实验结果表明,多标签Transformer-CRF模型在Top900词中法律相关词的MAP高达54.00％,较无监督方法生成的候选词集提升了 2.15％;在对法律专业语料提取新词时,键值记忆神经网络的表现进一步超过了多标签Transformer-CRF模型,达到了 3.43％的效果提升.

关键词：新词发现、信息熵、互信息、Transformer、条件随机场、键值记忆神经网络

所属期刊栏目：50

分类号：TP391(计算技术、计算机技术)

在线出版日期：2023-07-18（万方平台首次上网日期，不代表论文的发表时间）

页数：共8页

页码：221-228