基于BERT-BiLSTM-CRF模型的油气领域命名实体识别

摘要：

针对油气领域知识图谱构建过程中命名实体识别使用传统方法存在实体特征信息提取不准确、识别效率低的问题,提出了一种基于BERT-BiLSTM-CRF模型的命名实体识别研究方法.该方法首先利用BERT(bidirectional encoder representations from transformers)预训练模型得到输入序列语义的词向量;然后将训练后的词向量输入双向长短期记忆网络(bi-directional long short-term memory,BiLSTM)模型进一步获取上下文特征;最后根据条件随机场(conditional random fields,CRF)的标注规则和序列解码能力输出最大概率序列标注结果,构建油气领域命名实体识别模型框架.将BERT-BiLSTM-CRF模型与其他2种命名实体识别模型(BiLSTM-CRF、BiLSTM-Attention-CRF)在包括3万多条文本语料数据、4类实体的自建数据集上进行了对比实验.实验结果表明,BERT-BiLSTM-CRF模型的准确率(P)、召回率(R)和F1值分别达到91.3％、94.5％和92.9％,实体识别效果优于其他2种模型.

关键词：油气领域、命名实体识别、BERT、双向长短期记忆网络、条件随机场、BERT-BiLSTM-CRF模型

所属期刊栏目：21

分类号：TP391.1;TE19(计算技术、计算机技术)

资助基金：教育部中国高校产学研创新基金2021BCF03006

在线出版日期：2024-02-27（万方平台首次上网日期，不代表论文的发表时间）

页数：共9页

页码：57-65