改进的维吾尔语Web文本后缀树聚类

摘要：

该文提出了改进的雏吾尔语Web文本后缀树聚类算法STCU,其中后缀树的构建以维吾尔语句子为基本单位.针对维吾尔语语言和Web文本特点,文中对词语进行词干提取,构建了维吾尔语绝对停用词表和相对停用词表,采用文档频率和词性结合的方法提取关键短语,改进了合并基类的二进制方法,根据语料类别数自动调整聚类类别阙值,利用最一般短语对聚类类别进行描述,有效地改善了文本聚类的质量.与传统的后缀树聚类算法相比,聚类全面率提高了44.51％,聚类准确率提高了11.74％,错误率降低了0.94％.实验结果表明:改进的后缀树算法在Web文本聚类的精度和效率方面具有较强的优越性.

关键词：维吾尔语、后缀树、短语聚类、停用词表、文档频率

所属期刊栏目：27

分类号：TP391(计算技术、计算机技术)

资助基金：国家自然科学基金资助项目60963017,61262064;国家社会科学基金资助项目10BTQ045,11XTQ007

在线出版日期：2013-06-07（万方平台首次上网日期，不代表论文的发表时间）

页数：共9页

页码：118-126