联合知识的融合训练模型
在互联网医疗领域, 智能AI分科室是一个很关键的环节, 就是根据患者病情描述、疾病特征、药品等信息将患者分配到匹配的科室, 可以利用深层双向Transformer结构的BERT预训练语言模型增强字的语义, 但是患者病情文本描述具有信息稀疏的特点, 不利于BERT的充分学习其中特征. 本文提出了一种DNNBERT模型. 是一种融合知识的联合训练模型, DNNBERT结合了神经网络(DNN)和Transformer模型的优势, 能从文本中学习到更多的语义. 实验证明DNNBERT的计算时间相比BERT-large速度提升1.7倍, 并且准确率比ALBERT的F1值提高了0.12, 比TextCNN提高了0.17, 本文的工作将为特征稀疏学习提供新思路, 也将为基于深度Transformer的模型应用于生产提供新的思路.
知识融合、医疗短文本、BERT模型、联合训练、文本分类
30
TP391;TN919.8;R135.92
水体污染控制与治理科技重大专项2012ZX07505
2021-07-26（万方平台首次上网日期，不代表论文的发表时间）
共7页
50-56
