一种高效的分布式相似短文本聚类算法

摘要：

近似重复在微博等网络短文本中十分常见,查找和消除近似重复对于网络信息的有效处理具有非常重要的意义.论文针对相似短文本聚类的特点,在改进shingling、最小哈希和局部敏感哈希算法相结合的文件相似检测方法的基础上,设计了一个高效的短文本聚类方法.该方法通过将文本表示成连续短字符串集合,并应用最小哈希将集合简化成一组由数字组成的文本签名,通过局部敏感哈希算法得到符合相似度条件的文本聚类.为了适应网络信息规模大的特点,论文进一步利用Apache Spark集群计算框架对聚类算法进行了并行化,提高了数据处理的效率,并分析了影响算法性能的因素.

关键词：文本聚类、最小哈希、局部敏感哈希、shingling、Spark

所属期刊栏目：44

分类号：TP391.1(计算技术、计算机技术)

资助基金：国家自然科学基金项目61200337

在线出版日期：2016-07-26（万方平台首次上网日期，不代表论文的发表时间）

页数：共7页

页码：895-900,943