面向法律文书的分段式摘要模型

摘要：

文本摘要是指对文本信息内容进行概括、提取主要内容进而形成摘要的过程.现有的文本摘要模型通常将内容选择和摘要生成独立分析,虽然能够有效提高句子压缩和融合的性能,但是在抽取过程中会丢失部分文本信息,导致准确率降低.基于预训练模型和Transformer结构的文档级句子编码器,提出一种结合内容抽取与摘要生成的分段式摘要模型.采用B E RT模型对大量语料进行自监督学习,获得包含丰富语义信息的词表示.基于Transformer结构,通过全连接网络分类器将每个句子分成3类标签,抽取每句摘要对应的原文句子集合.利用指针生成器网络对原文句子集合进行压缩,将多个句子集合生成单句摘要,缩短输出序列和输入序列的长度.实验结果表明,相比直接生成摘要全文,该模型在生成句子上ROUGE-1、ROUGE-2和ROUGE-L的F1平均值提高了1.69个百分点,能够有效提高生成句子的准确率.

关键词：司法摘要、预训练模型、Transformer编码器、序列标注、指针生成器网络、分段式摘要模型

所属期刊栏目：48

分类号：TP391(计算技术、计算机技术)

资助基金：国家重点研发计划2018YFC0830604

在线出版日期：2022-06-21（万方平台首次上网日期，不代表论文的发表时间）

页数：共7页

页码：288-294