ENT-BERT:结合BERT和实体信息的实体关系分类模型

摘要：

目前,在关系抽取和分类任务中,通过将卷积神经网络和循环神经网络与注意力机制相结合的深度学习技术,一直以来都是主流和最佳的解决方法.最近提出的BERT(Bidirectional Encoder Representations from Transformers)模型在自然语言处理方向的多项任务中都达到了最佳效果,尤其对于文本分类任务,仅利用从模型中得到的句子向量结合全连接层便可使得分类效果有较大提升.针对实体关系分类任务,它与文本分类任务最主要的区别在于它更需要突出实体信息,因此该文章提出实体关系分类模型ENT-BERT,该模型首先通过BERT得到句子向量和字向量,再通过对实体中的字向量取平均得到实体向量,然后通过注意力机制将句子向量和实体向量相结合,最终利用全连接层和softmax函数来确定实体对之间的关系,实现实体关系的分类.实验结果表明,该模型能有效突出实体信息,并且在中英文数据集上都取得较佳效果.

关键词：深度学习、实体关系分类、BERT、注意力机制

所属期刊栏目：41

分类号：TP389(计算技术、计算机技术)

资助基金：国家自然科学基金项目61772342,61703278

在线出版日期：2020-12-15（万方平台首次上网日期，不代表论文的发表时间）

页数：共6页

页码：2557-2562