基于预训练表示模型的英语词语简化方法

摘要：

词语简化是将给定句子中的复杂词替换成意义相等的简单替代词,从而达到简化句子的目的.已有的词语简化方法只依靠复杂词本身而不考虑其上下文信息来生成候选替换词,这将不可避免地产生大量的虚假候选词.为此,提出了一种基于预语言训练表示模型的词语简化方法,利用预训练语言表示模进行候选替换词的生成和排序.基于预语言训练表示模型的词语简化方法在候选词生成过程中,不仅不需要任何语义词典和平行语料,而且能够充分考虑复杂词本身和上下文信息产生候选替代词.在候选替代词排序过程中,基于预语言训练表示模型的词语简化方法采用了 5个高效的特征,除了常用的词频和词语之间相似度特征之外,还利用了预训练语言表示模的预测排名、基于基于预语言训练表示模型的上、下文产生概率和复述数据库PPDB三个新特征.通过3个基准数据集进行验证,基于预语言训练表示模型的词语简化方法取得了明显的进步,整体性能平均比最先进的方法准确率高出29.8％.

关键词：词语简化、候选词生成、候选词排序、预训练语言表示模型

所属期刊栏目：48

分类号：H315.9;TP391.2;H085

资助基金：国家自然科学基金;国家自然科学基金;国家自然科学基金;江苏省自然科学基金

在线出版日期：2022-08-30（万方平台首次上网日期，不代表论文的发表时间）

页数：共13页

页码：2075-2087