基于BERT的混合神经网络实体识别方法

摘要：

针对命名实体识别方法中语义分析不足及准确率较低的问题,提出一种基于BERT模型的混合神经网络实体识别方法.对命名实体识别研究现状进行了调查与分析,发现现有命名实体识别研究中存在数据分析与特征提取不充分导致准确率较低的问题.利用BERT预训练语言模型动态生成字的语义向量,丰富其文本特征.使用卷积神经网络(convolutional neural network,CNN)模型再次抽取语义特征,实现语义的自动抽取,二者联合作为下一步的输入向量.采用引入注意力机制的双向长短时记忆网络(bi-directional long short-term memory,BiLSTM)获取单个字在字符级别上前后两个方向上的信息.通过条件随机场(conditional random field,CRF)模型解码序列标签,得到全局最优标注序列.在《人民日报》和MSRA两个数据集上的实验结果表明,该方法相比于其他模型,能有效地获取语义信息,在准确率、召回率和F1值上均有所提升.

关键词：命名实体识别;BERT模型;卷积神经网络;双向长短期记忆网络;条件随机场

所属期刊栏目：31

分类号：TP391(计算技术、计算机技术)

资助基金：国家自然基金项目;河北省自然科学基金;河北经贸大学科学研究;发展计划基金项目

在线出版日期：2021-09-06（万方平台首次上网日期，不代表论文的发表时间）

页数：共6页

页码：100-105