基于Multi-head Attention和Bi-LSTM的实体关系分类

摘要：

关系分类是自然语言处理领域的一项重要任务,能够为知识图谱的构建、问答系统和信息检索等提供技术支持.与传统关系分类方法相比较,基于神经网络和注意力机制的关系分类模型在各种关系分类任务中都获得了更出色的表现.以往的模型大多采用单层注意力机制,特征表达相对单一.因此本文在已有研究基础上,引入多头注意力机制(Multi-head attention),旨在让模型从不同表示空间上获取关于句子更多层面的信息,提高模型的特征表达能力.同时在现有的词向量和位置向量作为网络输入的基础上,进一步引入依存句法特征和相对核心谓词依赖特征,其中依存句法特征包括当前词的依存关系值和所依赖的父节点位置,从而使模型进一步获取更多的文本句法信息.在SemEval-2010任务8数据集上的实验结果证明,该方法相较之前的深度学习模型,性能有进一步提高.

关键词：关系分类、Bi-LSTM、句法特征、self-attention、multi-headattention

所属期刊栏目：28

在线出版日期：2019-06-21（万方平台首次上网日期，不代表论文的发表时间）

页数：共7页

页码：118-124