层次视野多头注意力驱动的图谱到文本生成

摘要：

为知识图谱(Knowledge Graph,KG)生成自然语言描述是自然语言处理中的一项重要任务,被称为知识图谱到文本(KG-to-Text)生成.现有方法在编码知识图谱时损失了一定的图结构信息,导致生成文本的质量不高.在Transformer模型的基础上,本文提出一种层次视野多头注意力(Hierarchical-View and Multi-Head Attention,HVMHA)驱动的KG-to-Text生成方法.该方法首先利用Levi图转换和子词图转换加强了原始图谱的语义和结构特征,然后以构建的三层子词可见矩阵扩展原先的多头注意力机制,显式地关注所提出的全图连接视野、元组内连接视野和实体/关系内连接视野,从而改善对图结构信息的捕获能力.在WebNLG数据集上的实验结果表明,该方法相比已有的基线模型取得了明显的效果提升,同时以最少的参数实现了模型高效性.

关键词：KG-to-Text生成、知识图谱、文本生成、Transformer模型、多头注意力

所属期刊栏目：44

分类号：TP183(自动化基础理论)

资助基金：国家自然科学基金61902074

在线出版日期：2023-10-30（万方平台首次上网日期，不代表论文的发表时间）

页数：共8页

页码：2323-2330