基于BERT模型的无监督候选词生成及排序算法

摘要：

词汇简化的目的是在保持句子原始语义的前提下用更易于理解的简单词替代复杂词,同时使语句保持流畅.传统方法依赖人工标记的数据集或者只关注复杂词本身而未能有效地关注复杂词的上下文,导致生成的候选词不符合上下文语境.为了解决上述两个问题,提出一种基于BERT(Bidirectional Encoder Representations from Transformers)模型的无监督候选词生成及排序算法Pretrained-LS,还同时考虑了复杂词和上下文.在候选词生成阶段,Pretrained-LS利用BERT模型生成候选词;在候选词排序阶段,除了常见的词频和BERT预测顺序排序特征,Pretrained-LS提出BERT词嵌入表示语义相似度、基于Roberta(A Robustly Optimized BERT Pretraining Approach)向量的上下文相似度以及常见词复杂分数字典三个排序特征.实验中,在候选词生成阶段,Pretrained-LS采用广泛使用的精确率P、召回率R以及两者的调和平均值F作为评价标准,在候选词排序阶段同样采用精确率P以及准确率A作为评价标准.在三个英语基准数据集上的实验结果表明,与目前表现最好的词汇简化算法相比,在候选词生成阶段,Pretrained-LS的评测指标F值提升5.70％;在候选词排序阶段,准确率A提升7.21％.

关键词：词汇简化、预训练模型、候选词生成、候选词排序

所属期刊栏目：58

分类号：TP391(计算技术、计算机技术)

资助基金：江苏省研究生科研与实践创新计划项目JNKY19_074

在线出版日期：2022-07-28（万方平台首次上网日期，不代表论文的发表时间）

页数：共12页

页码：286-297