基于RoBERTa和对抗训练的中文医疗命名实体识别

摘要：

BERT(Bidirectional?Encoder?Representations?from?Transformers)和神经网络模型相结合的方法目前已被广泛应用于中文医疗命名实体识别领域.但BERT在中文中是以字为粒度切分的,没有考虑到中文分词.而神经网络模型往往局部不稳定,即使微小的扰动也可能误导它们,导致模型的鲁棒性差.为了解决这两个问题,提出了一种基于RoBERTa(A?Robustly Optimized?BERT?Pre-training?Approach)和对抗训练的中文医疗命名实体识别模型(AT-RBC).首先,使用RoBERTa-wwm-ext-large(A?Robustly?Optimized?BERT?Pre-training Approach-whole?word?masking-extended?data-large)预训练模型得到输入文本的初始向量表示;其次,在初始向量表示上添加一些扰动来生成对抗样本;最后,将初始向量表示和对抗样本一同依次输入双向长短期记忆网络和条件随机场中,得到最终的预测结果.在CCKS?2019数据集上的实验结果表明,AT-RBC模型的F1值达到了88.96％;在Resume数据集上的实验结果表明,AT-RBC模型的F1值也达到了97.14％,证明了该模型的有效性.

关键词：医疗命名实体识别、RoBERTa-wwm-ext-large、对抗训练、双向长短期记忆网络、条件随机场

所属期刊栏目：49

分类号：TP391.1(计算技术、计算机技术)

在线出版日期：2023-03-08（万方平台首次上网日期，不代表论文的发表时间）

页数：共9页

页码：144-152