基于关联规则的自动构词算法研究

摘要：

词语是中文文本的基本元素,汉语语言模型在中文文本挖掘中起关键作用.中文文本挖掘是高维度的数据处理技术,挖掘算法对维度的大小比较敏感,因此挖掘效果依赖于词库的质量.另外,现存的汉语语言模型一般都是基于统计的,比如N-gram语言模型以及各种改进模型都具有较高的计算复杂度.为降低语言模型的计算复杂度、提高词库的质量和构词效率,借鉴关联规则理论对中文词语进行定义,在此基础上构建Auto-word自动构词算法.该算法可以从大量中文语料库中动态地构造词表,并以此为基础进行中文文本挖掘工作.最后通过实验证明了提出的自动构词算法的有效性.

关键词：自动构词、统计语言模型、关联规则、最长公共子序列、文本分类

所属期刊栏目：41

分类号：TP301.6(计算技术、计算机技术)

在线出版日期：2015-01-13（万方平台首次上网日期，不代表论文的发表时间）

页数：共4页

页码：256-259