汉语分词索引字数与分词效率的对比研究

摘要：

针对汉语分词词典中双字哈希索引机制未能充分利用索引分词,而分词效率又明显优于首字哈希索引机制的问题,在充分分析汉语构词特点的基础上,提出了基于三字哈希索引的分词词典机制,并通过将字串的三态标记与下一索引指针的乘积作为哈希值的链地址法,简化了词典结构,节省了内存空间.理论分析和真实语料仿真均证明了三字哈希索引机制与不同字数的其他索引机制相比,具有更好的分词效率.

关键词：计算机应用、中文分词、词典机制、三字哈希索引

所属期刊栏目：44

分类号：TP391(计算技术、计算机技术)

在线出版日期：2008-11-24（万方平台首次上网日期，不代表论文的发表时间）

页数：共3页

页码：135-137