基于BERT-CRF模型的电子病历实体识别研究

摘要：

电子病历实体识别是智慧医疗服务中一项重要的基础任务,当前医院诊疗过程中采用人工分析病历文本的方法,容易产生关键信息遗漏且效率低下.为此,提出一种结合BERT与条件随机场的实体识别模型,使用基于双向训练Transformer的BERT中文预训练模型,在手工标注的符合BIOES标准的语料库上微调模型参数,通过BERT模型学习字符序列的状态特征,并将得到的序列状态分数输入到条件随机场层,条件随机场层对序列状态转移做出约束优化.BERT模型具有巨大的参数量、强大的特征提取能力和实体的多维语义表征等优势,可有效提升实体抽取的效果.实验结果表明,论文提出的模型能实现88％以上的实体识别F1分数,显著优于传统的循环神经网络和卷积神经网络模型.

关键词：深度学习、BERT、条件随机场、命名实体识别、电子病历

所属期刊栏目：50

分类号：TP391(计算技术、计算机技术)

资助基金：国家重点研发计划;辽宁省重点研发计划;教育部中央高校基本科研业务费专项;辽宁省兴辽英才计划项目

在线出版日期：2022-04-14（万方平台首次上网日期，不代表论文的发表时间）

页数：共5页

页码：639-643