10.3969/j.issn.1003-3254.2013.03.023
一种引入动态词库更新的中文分词架构
针对互联网环境下新词出现和更新频率高的特点,将机械分词与基于规则分词相结合,提出一种动态更新词库的中文分词架构.本架构给出了新的词典设计结构及歧义处理规则,并将统计学中的互信息概念运用到新词判定环节.实验表明本文提出的中文分词架构具有较高的准确率和良好的适应性.
中文分词、最大词长、歧义处理、互信息、未登录词
2013-04-18(万方平台首次上网日期,不代表论文的发表时间)
共4页
100-103