基于互信息改进算法和t-测试差的壮文分词算法研究

摘要：

针对传统的壮文分词方法将单词之间的空格作为分隔标志,在多数情况下,会破坏多个单词关联组合而成的语义词所要表达的完整且独立的语义信息,在借鉴前人使用互信息MI方法来度量相邻单词间关联程度的基础上,首次采用互信息改进算法MIk和t-测试差对壮文文本分词,并结合两者在评价相邻单词间的静态结合能力和动态结合能力的各自优势,提出了一种MIk和t-测试差相结合的TD-MIk混合算法对壮文文本分词,并对互信息改进算法MIk、t-测试差、TD-MIk混合算法三种方法的分词效果进行了比较.使用人民网壮文版上的文本集作为训练及测试语料进行了实验,结果表明:三种分词方法都能够较准确而有效地提取文本中的语义词,并且TD-MIk混合算法的分词准确率最高.

关键词：壮文分词、MI改进算法、t-测试差、混合算法、语义词

所属期刊栏目：36

分类号：TP391(计算技术、计算机技术)

资助基金：国家科技支撑计划项目子课题2015BAD29B01;中南民族大学研究生学术创新基金项目2017sycxjj051

在线出版日期：2018-01-11（万方平台首次上网日期，不代表论文的发表时间）

页数：共6页

页码：100-105