融合ELECTRA和文本局部信息的中文语法错误检测方法

摘要：

语法错误检测是自然语言处理领域的一项基本任务,其目标是自动识别文本中存在的错别字、语法及语序错误等.与其他语言相比,中文语法灵活多变且缺乏时态、语态等标志性信息,因此,文本的局部信息对于中文语法错误检测具有重要作用.传统的机器学习方法难以检测文本中存在的语法错误,而现有深度学习方法在纠错过程中不能充分利用文本的局部信息,导致语法错误检测效果不佳.建立一种融合ELECTRA和文本局部信息的中文语法错误检测模型ELECTRA-GCNN-CRF.将语法错误检测视为序列标注任务,使用ELECTRA预训练语言模型对文本进行表征.采用卷积神经网络提取文本的局部位置和语义信息,并引入残差门控机制,降低无效信息带来的影响.通过CRF模型学习标签间的内在关联关系,输出符合标注规则的语法错误标签序列.在NLPTEA中文语法错误检测数据集上的实验结果表明,ELECTRA-GCNN-CRF在检测层、识别层和定位层上的F1值较对比基线模型分别平均提高了0.94、3.74和5.03个百分点,该模型能够有效提升语法错误检测效果.

关键词：ELECTRA预训练语言模型、局部信息、中文语法错误检测、卷积神经网络、残差门控机制

所属期刊栏目：49

分类号：TP391(计算技术、计算机技术)

资助基金：国家自然科学基金62066007

在线出版日期：2023-03-17（万方平台首次上网日期，不代表论文的发表时间）

页数：共8页

页码：304-311