基于序列到序列预训练语言模型的楹联自动生成算法

摘要：

为了降低楹联文化的学习门槛,激发年轻人对楹联文化的兴趣,提出了一种基于序列到序列预训练神经网络语言模型的楹联自动生成算法.该算法将楹联应对任务建模为一个序列到序列的生成问题,将楹联的上联作为输入,并自递归地(auto-regressively)生成出符合楹联标准要求的下联.与现有神经网络方法不同,该算法模型在楹联生成任务上的训练前,在大规模无监督语料上进行预训练(pre-train),在楹联监督数据上进行微调(fine-tune).在公开数据集上的实验证明,该算法在测试集上的BLEU值与人工评估指标相对基线模型均有明显提升,证明了该算法的有效性.

关键词：楹联生成、预训练语言模型、文本生成、自然语言处理

所属期刊栏目：38

分类号：TP399(计算技术、计算机技术)

资助基金：陕西省教育厅一般专项科学研究项目20JK0392

在线出版日期：2023-03-01（万方平台首次上网日期，不代表论文的发表时间）

页数：共3页

页码：42-44