基于深度自编码的医疗命名实体识别模型

摘要：

针对在医疗命名实体识别(MNER)问题中随着网络加深,基于深度学习的识别模型出现的识别精度与算力要求不平衡的问题,提出一种基于深度自编码的医疗命名实体识别模型CasSAttMNER.首先,使用编码与解码间深度差平衡策略,以经过蒸馏的Transformer语言模型RBT6作为编码器以减小编码深度以及降低对训练和应用上的算力要求;然后,使用双向长短期记忆(BiLSTM)网络和条件随机场(CRF)提出了级联式多任务双解码器,从而完成实体提及序列标注与实体类别判断;最后,基于自注意力机制在实体类别中增加实体提及过程抽取的隐解码信息,以此来优化模型设计.实验结果表明,CasSAttMNER在两个中文医疗实体数据集上的F值度量可分别达到0.9439和0.9457,较基线模型分别提高了3个百分点和8个百分点,验证了该模型更进一步地提升了解码器性能.

关键词：命名实体识别、自编码网络、双向长短期记忆网络、注意力机制、多任务

所属期刊栏目：42

分类号：TP389.1(计算技术、计算机技术)

资助基金：中央高校基本科研业务费专项2682020ZT92

在线出版日期：2022-09-29（万方平台首次上网日期，不代表论文的发表时间）

页数：共7页

页码：2686-2692