基于增量预训练和对抗训练的文本匹配模型

摘要：

文本匹配是自然语言理解的关键技术之一,其任务是判断两段文本的相似程度.近年来随着预训练模型的发展,基于预训练语言模型的文本匹配技术得到了广泛的应用.然而,这类文本匹配模型仍然面临着在某一特定领域泛化能力不佳、语义匹配时鲁棒性较弱这两个挑战.为此,本文提出了基于低频词的增量预训练及对抗训练方法来提高文本匹配模型的效果.本文通过针对领域内低频词的增量预训练,帮助模型向目标领域迁移,增强模型的泛化能力;同时本文尝试多种针对低频词的对抗训练方法,提升模型对词级别扰动的适应能力,提高模型的鲁棒性.本文在LCQMC数据集和房产领域文本匹配数据集上的实验结果表明,增量预训练、对抗训练以及这两种方式的结合使用均可明显改善文本匹配结果.

关键词：文本匹配、预训练模型、增量预训练、对抗训练、低频词、深度学习、自然语言处理

所属期刊栏目：31

分类号：TP391;TP183;TP273.4

资助基金：国家自然科学基金62176074

在线出版日期：2022-11-16（万方平台首次上网日期，不代表论文的发表时间）

页数：共9页

页码：349-357