基于动态文本窗口和权重动态分配的中文文本纠错方法

摘要：

提出一种基于动态文本窗口的中文文本查错方法,依靠窗口的不断滑动来检测文本错误.当中文文本有疑似错误时,采用聚类词集平滑数据稀疏问题,然后采用权重动态分配的纠错词集进行纠错,若纠错结果仍不符合检错规则,则用缩小文本窗口法和拓展窗口法来检查具体错误.构建纠错词集则采用基于最小编辑距离和权重动态分配的方法.实验结果表明,基于动态文本窗口查错方法的F值达到了77.9％;再结合权重动态分配的纠错方法,纠错准确率达到78.1％,相较黑马校对系统和基于平均权重的纠错策略,准确率分别提升了9.7％和15.8％.

关键词：语义搭配、数据稀疏、动态文本窗口、权重动态分配

所属期刊栏目：52

分类号：TP391(计算技术、计算机技术)

资助基金：国家自然科学基金项目;国家重点研发计划项目;科技创新服务能力建设-科研基地建设-北京实验室-国家经济安全预警工程北京实验室项目

在线出版日期：2020-08-28（万方平台首次上网日期，不代表论文的发表时间）

页数：共6页

页码：9-14