面向文本摘要的反事实纠偏方法
文本摘要是自然语言处理领域中一项典型的文本到文本生成任务,旨在提取和概括一篇或多篇输入文档的关键信息,生成简洁、流畅又准确的摘要文本.自动文本摘要技术涉及自然语言理解和自然语言生成技术,并能应用于多种实际场景,包括文档索引、标题生成和内容创建,因此受到学术界和工业界的长期关注.近年来,基于神经网络的深度文本摘要模型得到广泛研究.结合先进的预训练技术,现有的深度文本摘要模型已经具备流畅的语言表达能力,能够生成较为通顺的摘要.然而,模型生成的摘要仍然存在表达不准确的问题,与原文存在信息偏差或包含原文以外的信息.该问题被称为"幻觉"问题,仍是一个巨大的挑战.针对这个问题,该文从因果的角度分析了基于预训练模型的深度文本摘要方法存在的偏差来源,并设计了去偏方法.因果理论为理解和建模复杂系统提供了一个强大的框架.在文本摘要系统中,因果推理可以帮助识别文档、摘要和语言先验之间的因果关系.理解这些变量之间的因果关系,有助于设计出针对系统中潜在偏差来源的去偏方法.具体来说,该文首先探究了文本摘要任务的因果结构,定义和分析了摘要任务的因果图.分析表明,摘要会受到预训练过程中习得的语言先验的影响.其中,语言先验包含的噪声会导致生成的摘要有偏.由于先前的摘要模型没有考虑或规避语言先验中潜在噪声的影响,导致模型生成的摘要中容易出现原文没有的信息.为此,该文根据因果理论提出了面向文本摘要的反事实纠偏方法.受到人类行为的启发,该文根据是否和原文交互,显式地区分语言先验中的有用知识和噪声,然后建模噪声对摘要的影响并从总体影响中去除.在XSUM和CNN/DailyMail数据集上的实验表明,该模型在Rouge-1、Rouge-2和Rouge-L指标上分别比基线方法BART提高0.75％、0.54％和0.46％以及1.29％、2.08％和1.20％,并且在人工评价中具备良好的流畅性和忠实性.本文提出的方法是一个通用的框架,适用于不同的深度文本摘要模型.通过利用因果理论,它对文本摘要领域以及其他文本生成任务有一定的启发,增加了该领域方法的可解释性.
深度文本摘要模型、因果效应、反事实推理、幻觉、去偏
46
TP391(计算技术、计算机技术)
2023-11-21（万方平台首次上网日期，不代表论文的发表时间）
共16页
2400-2415
