基于Transformer编码器的中文命名实体识别模型

摘要：

命名实体识别是自然语言处理中的重要任务,且中文命名实体识别相比于英文命名实体识别任务更具难度.传统中文实体识别模型通常基于深度神经网络对文本中的所有字符打上标签,再根据标签序列识别命名实体,但此类基于字符的序列标注方式难以获取词语信息.提出一种基于Transformer编码器的中文命名实体识别模型,在字嵌入过程中使用结合词典的字向量编码方法使字向量包含词语信息,同时针对Transformer编码器在注意力运算时丢失字符相对位置信息的问题,改进Transformer编码器的注意力运算并引入相对位置编码方法,最终通过条件随机场模型获取最优标签序列.实验结果表明,该模型在Resume和Weibo中文命名实体识别数据集上的F1值分别达到94.7％和58.2％,相比于基于双向长短期记忆网络和ID-CNN的命名实体识别模型均有所提升,具有更优的识别效果和更快的收敛速度.

关键词：自然语言处理、中文命名实体识别、Transformer编码器、条件随机场、相对位置编码

所属期刊栏目：48

分类号：TP18(自动化基础理论)

资助基金：江苏省高校自然科学研究项目05KJD520146

在线出版日期：2022-09-16（万方平台首次上网日期，不代表论文的发表时间）

页数：共7页

页码：66-72