基于注意力机制特征融合的中文命名实体识别

摘要：

命名实体识别是自然语言处理领域中信息抽取、信息检索、知识图谱等任务的基础.在命名实体识别任务中,Transformer编码器更加关注全局语义,对位置和方向信息不敏感,而双向长短期记忆(BiLSTM)网络可以提取文本中的方向信息,但缺少全局语义信息.为同时获得全局语义信息和方向信息,提出使用注意力机制动态融合Transformer编码器和BiLSTM的模型.使用相对位置编码和修改注意力计算公式对Transformer编码器进行改进,利用改进的Transformer编码器提取全局语义信息,并采用BiLSTM捕获方向信息.结合注意力机制动态调整权重,深度融合全局语义信息和方向信息以获得更丰富的上下文特征.使用条件随机场进行解码,实现实体标注序列预测.此外,针对Word2Vec等传统词向量方法无法表示词的多义性问题,使用RoBERTa-wwm预训练模型作为模型的嵌入层提供字符级嵌入,获得更多的上下文语义信息和词汇信息,增强实体识别效果.实验结果表明,该方法在中文命名实体识别数据集Resume和Weibo上F1值分别达到96.68％和71.29％,相比ID-CNN、BiLSTM、CAN-NER等方法,具有较优的识别效果.

关键词：注意力机制、Transformer编码器、特征融合、中文命名实体识别、预训练模型

所属期刊栏目：49

分类号：TP391(计算技术、计算机技术)

资助基金：国家自然科学基金71761018

在线出版日期：2023-04-19（万方平台首次上网日期，不代表论文的发表时间）

页数：共7页

页码：256-262