融合预训练模型和注意力的实体关系抽取方法

摘要：

实体关系抽取旨在从无结构的文档中检测出实体和实体对的关系,是构建领域知识图谱的重要步骤.针对现有抽取模型语义表达能力差、重叠三元组抽取准确率低的情况,研究了融合预训练模型和注意力的实体关系联合抽取问题,将实体关系抽取任务分解为两个标记模块.头实体标记模块采用预训练模型对句子进行编码,为了进一步学习句子的内在特征,利用双向长短时记忆网络(BiLSTM)和自注意力机制组成特征加强层.采用二进制分类器作为模型的解码器,标记出头实体在句子中的起止位置.为了加深两个标记模块之间的联系,在尾实体标记任务前设置特征融合层,将头实体特征与句子向量通过卷积神经网络(CNN)和注意力机制进行特征融合,通过多个相同且独立的二进制分类器判定实体间关系并标记尾实体,构建出融合预训练模型和注意力的联合抽取模型(JPEA).实验结果表明,该方法能显著提升抽取的效果,对比不同预训练模型下抽取任务的性能,进一步说明了模型的优越性.

关键词：领域知识图谱、预训练模型、自注意力机制、特征融合

所属期刊栏目：17

分类号：TP391(计算技术、计算机技术)

资助基金：国家重点研发计划;国家自然科学基金;陕西省住房城乡建设科技计划

在线出版日期：2023-06-12（万方平台首次上网日期，不代表论文的发表时间）

页数：共10页

页码：1453-1462