基于无监督方法的电力文本专业词汇识别研究

摘要：

电力专业词汇识别是面向变电运检文档进行深入语言理解和知识图谱构建等智能应用的基础.领域无关识别方法的效果不能令人满意,为此文中根据电力领域词汇的语言学特征提出一种面向电力领域的无监督专业词汇发现方法.首先以通用词典对电力文档语料分词,然后根据电力专业词汇的特征设置不同大小的滑动窗口,将之前分词结果的多种组合作为候选词;进一步计算邻接变化度、信息熵、点态互信息以及词频等4种候选词统计量;最后基于综合语言学特征和成词边界3种语法规则对候选词进行筛选形成专业电力新词.在公开数据集上与基线方法进行了对比实验,实验结果验证了文中提出方法的有效性.

关键词：领域词典、无监督学习、新词识别、滑动窗口、统计特征

所属期刊栏目：39

分类号：TM930.9;TP391

资助基金：国家电网有限公司总部科技项目5200-2019182-55A-0-0-00

在线出版日期：2021-03-26（万方平台首次上网日期，不代表论文的发表时间）

页数：共7页

页码：159-165