基于RoBERTa-wwm-ext与混淆集的中文文本校对模型

摘要：

中文文本自动校对技术是自然语言处理领域中的主要任务之一.针对中文文本中字粒度级别的错误(音似、形似和义似替换错误),提出一种基于 RoBERTa-wwm-ext与混淆集的中文文本校对模型.该模型在 RoBERTa-wwm-ext结构的基础上,利用 transformer结构中的 encoder机制读取整段中文文本序列,然后通过 softmax 函数计算当前字符权重分布来判断该字符是否错误,并在纠错任务中引入混淆集,使用混淆集找到该错字对应的候选字符,最后结合掩码语言模型给出的修改建议,完成文本校对.在SIGHAN2014 与SIGHAN2015 中文拼写检查数据集上,设计字粒度级别的中文文本校对实验,对比模型性能.实验结果表明,与当前主流的中文文本校对模型相比,该模型的中文文本校对效果表现更佳,文本校对的准确率、召回率、F1 值均有所提升.

关键词：自然语言处理、掩码语言模型、RoBERTa-wwm-ext、混淆集、transformer结构

所属期刊栏目：45

分类号：TB324.1(工程材料学)

资助基金：国家自然科学基金62102136

在线出版日期：2023-09-15（万方平台首次上网日期，不代表论文的发表时间）

页数：共7页

页码：712-718