基于RoBERTa-WWM的中文电子病历命名实体识别

摘要：

电子病历(EMRs)中包含着丰富的信息,如临床症状、诊断结果和药物疗效.命名实体识别(Named Entity Recognition,NER)旨在从非结构化文本中抽取命名实体,这也是从电子病历中抽取有价值信息的初始步骤.本文提出一种基于预训练模型RoBERTa-WWM (A Robustly Optimized BERT Pre-training Approach-Whole Word Masking)的命名实体识别方法.该方法引入预训练模型RoBERTa-WWM,利用其生成含有先验知识的语义表示.与BERT(Bidirectional Encoder Representations from Transformers)相比,RoBERTa-WWM生成的语义表示更适用于中文的命名实体识别任务,因为其在预训练阶段会进行全词掩码.RoBERTa-WWM生成的语义表示被依次输入双向长短时记忆(Bidirectional Long Short-Term Memory,BiLSTM)和条件随机场(Conditional Random Field,CRF)模型.实验结果表明,该方法在“2019全国知识图谱与语义计算大会(CCKS 2019)”数据集上可以有效提升F1值,提高中文电子病历中命名实体的识别效果.

关键词：电子病历、命名实体识别、RoBERTa-WWM、信息抽取

分类号：TP391.1(计算技术、计算机技术)

资助基金：安徽省科技厅重大专项;蚌埠医学院研究生科技创新计划项目

在线出版日期：2021-05-08（万方平台首次上网日期，不代表论文的发表时间）

页数：共5页

页码：51-55