基于词聚类的热点话题检测算法

摘要：

对应用词聚类进行热点话题检测的算法进行了研究.通过将文档分词并用兼顾长短文章的规则进行特征抽取,将文档聚类空间转化为特征词聚类空间,采用基于互信息的词聚类算法产生热点话题类.以TDT5语料作为测试语料进行了热点话题召回率和话题类纯度评测,实验结果表明,采用基于词聚类的算法进行热点话题检测,热点话题的平均召回率达到83.8%,话题类的平均类纯度达到94.4%,检测出的热点话题类别易于理解.

关键词：互信息、词聚类、热点话题发现、特征词抽取、词汇语义相似度

所属期刊栏目：32

分类号：TP391(计算技术、计算机技术)

资助基金：国家863高技术研究发展计划基金项目2005AA147030;国家242信息安全计划基金项目2005A37

在线出版日期：2011-10-20（万方平台首次上网日期，不代表论文的发表时间）

页数：共4页

页码：2214-2216,封3