基于注意力机制和RECWE模型的中文词向量方法

摘要：

词向量是支撑自然语言处理的重要基础,为了解决目前的RECWE(Radical Enhanced Chinese Word Embedding)模型没有合理利用上下文词语贡献度不同、各词语中汉字及其偏旁部首和组件的贡献度不同的问题,提出了结合注意机制改进的RECWE模型,将模型的两个预测模型引入不同类型的注意力机制.实验结果表明,改进的RECWE模型与原模型相比,在相似度任务上,两份评测文件的成绩分别提高2.89％和1.04％;在类比任务上,三个主题的平均成绩提高2.07％,有效提高词向量的质量.

关键词：词向量、注意力机制、语义信息、RECWE

所属期刊栏目：11

分类号：TP391.1(计算技术、计算机技术)

在线出版日期：2020-07-20（万方平台首次上网日期，不代表论文的发表时间）

页数：共8页

页码：96-103