基于医学大数据的预训练语言模型及其医学文本分类研究

摘要：

目的:构建基于医学文本的预训练语言模型,以解决基于通用语料的预训练语言模型不适应医学文本分类的问题.方法:使用PubMed医学论文摘要数据和PMC医学论文全文数据在通用预训练语言模型Bert上进行二次预训练,得到医学领域的预训练语言模型BioBert,使用标注好的文本数据对BioBert进行微调,得到最终的医学文本分类模型.结果:病历文本和医学论文摘要文本两个数据集的分类实验显示,经过医学文本二次预训练的预训练语言模型在两个数据集上都取得了较好的分类效果.结论:通过自训练的方式对大量医学文本进行预训练得到的医学领域预训练语言模型,能在一定程度上解决使用通用预训练语言模型无法很好适配医学文本分布而导致分类性能偏低的问题.

关键词：医学文本、预训练语言模型、文本分类

所属期刊栏目：29

分类号：R-05;TP391.1(一般理论)

在线出版日期：2021-03-29（万方平台首次上网日期，不代表论文的发表时间）

页数：共8页

页码：39-46