一种新的基于最大概率路径的中文分词

摘要：

中文分词在自然语言处理中占据了十分重要的地位.为了提高中文分词的速度,论文提出了一种新的求解最大概率路径的方法.该方法主要分为两步:1)将词频总和的数值减小来解决下溢问题;2)避免使用复杂的计算方法,使用简单的除法操作来降低运行时间提高分词速度.最后,使用搜狗新闻数据集进行实验验证,新方法的中文分词速度相较于JIEBA的中文分词的速度显著提高,并且为了验证分词的性能,对准确率,召回率以及F1进行了计算,三个指标的值均可达到95％以上.

关键词：中文分词、最大概率路径、自然语言处理

所属期刊栏目：50

分类号：TP3;P31(计算技术、计算机技术)

在线出版日期：2022-04-14（万方平台首次上网日期，不代表论文的发表时间）

页数：共6页

页码：591-596