10.3969/j.issn.1672-9722.2016.05.026
一种高效的分布式相似短文本聚类算法
近似重复在微博等网络短文本中十分常见,查找和消除近似重复对于网络信息的有效处理具有非常重要的意义.论文针对相似短文本聚类的特点,在改进shingling、最小哈希和局部敏感哈希算法相结合的文件相似检测方法的基础上,设计了一个高效的短文本聚类方法.该方法通过将文本表示成连续短字符串集合,并应用最小哈希将集合简化成一组由数字组成的文本签名,通过局部敏感哈希算法得到符合相似度条件的文本聚类.为了适应网络信息规模大的特点,论文进一步利用Apache Spark集群计算框架对聚类算法进行了并行化,提高了数据处理的效率,并分析了影响算法性能的因素.
文本聚类、最小哈希、局部敏感哈希、shingling、Spark
44
TP391.1(计算技术、计算机技术)
国家自然科学基金项目61200337
2016-07-26(万方平台首次上网日期,不代表论文的发表时间)
共7页
895-900,943