一种实用的资源稀缺条件下的分词方法

摘要：

在一些使用人数较少的语言中，缺少人工标注语料，研究在资源稀缺条件下的分词方法成了亟待解决的问题。研究了无监督的 VE 算法，以及最大匹配间隔标注算法，在此基础上提出一种无监督分词方法与最大匹配方法相结合的分词方法，并在汉语语料上进行实验。该分词方法显著提高了最大匹配分词方法的分词效果，同时也优于当前最好的无监督分词结果。实验表明，该方法快速、有效，利用较小的资源获得了较好的分词效果。

关键词：分词、无监督分词、最大匹配、VE算法、间隔标注、资源

分类号：TP391.1(计算技术、计算机技术)

资助基金：西北民族大学中央高校基本科研业务费专项资金资助项目zyp2015001，31920140064

在线出版日期：2016-03-17（万方平台首次上网日期，不代表论文的发表时间）

页数：共4页

页码：68-70,97