结合内容和标签的Web文本聚类研究

摘要：

[目的]探索社会标签与文本内容的结合对文本聚类的影响.[方法]采用Engadget中英文博客数据,使用TF×IDF、TextRank、TextRank×IDF三种特征抽取方法,线性函数和Sigmod函数进行相似度加权,AP算法进行聚类.[结果]结果表明,TF×IDF的聚类效果最好,两种加权对英文博文聚类有不同程度的改善,但在中文博文聚类中,Sigmod加权结果稍有下降,线性加权比Sigmoid加权方法效果更好.[局限]没有找出标签相似度与内容相似度最佳的权重系数.AP聚类算法不能应用于大数据,聚簇过多影响聚类结果的展示.[结论]社会标签与文本内容相似度的线性加权能改善Web文本聚类结果.

关键词：社会标签、特征选择、文本聚类

分类号：G250(图书馆学、图书馆事业)

资助基金：本文系国家社会科学基金项目“在线社交网络中基于用户的知识组织模式研究”项目编号:14BTQ033和教育部人文社会科学基金规划项目“多语言高质量社会化标签生成及聚类研究”项目编号:13YJA870020的研究成果之一.

在线出版日期：2014-12-18（万方平台首次上网日期，不代表论文的发表时间）

页码：45-52