可并行中文同主题词聚类新算法

摘要：

提出了一种高效的自动按照主题对中文词进行聚类的算法.该算法利用顿号(、)切分抽取语料库句子中的并列中文词,并以抽取出的中文词为节点构建一个共引用图;然后对每个中文词节点产生若干个locality sensitive Hashing (LSH)签名组合;最后将至少有1个相同LSH签名组合的任意2个中文词标记为同一个主题类.实验表明,该算法运算速度快,且易并行实现,在海量语料库的支持下,执行效率高,聚类效果较好.

关键词：中文词聚类、共引用图、locality sensitive Hashing签名、并行化

所属期刊栏目：32

分类号：TP181(自动化基础理论)

资助基金：国家自然科学基金项目60872051,60432010;国家重点基础研究发展计划项目2007CB307100

在线出版日期：2009-10-27（万方平台首次上网日期，不代表论文的发表时间）

页数：共6页

页码：122-127