基于Word2Vec模型特征扩展的Web搜索结果聚类性能的改进

摘要：

对于用户泛化和模糊的查询,将Web搜索引擎返回的列表内容聚类处理,便于用户有效查找感兴趣的内容.由于返回的列表由称为片段(snippet)的短文本组成,而传统的单词频率-逆文档频率(TF-IDF)特征选择模型不能适用于稀疏的短文本,使得聚类性能下降.一个有效的方法就是通过一个外部的知识库对短文本进行扩展.受到基于神经网络词表示方法的启发,提出了通过词嵌入技术的Word2Vec模型对短文本扩展,即采用Word2Vec模型的TopN个最相似的单词用于对片段(snippet)的扩展,扩展文档使得TF-IDF模型特征选择得到聚类性能的提高.同时考虑到通用性单词造成的噪声引入,对扩展文档的TF-IDF矩阵进行了词频权重修正.实验在两个公开数据集ODP239和SearchSnippets上完成,将所提方法和纯snippet无扩展的方法、基于Wordnet的特征扩展方法和基于Wikipedia的特征扩展方法进行了对比.实验结果表明,所提方法在聚类性能方面优于对比方法.

关键词：特征扩展、片段、词嵌入技术、搜索结果聚类

所属期刊栏目：39

分类号：TP391.1(计算技术、计算机技术)

资助基金：国家自然科学基金资助项目61773385

在线出版日期：2019-07-16（万方平台首次上网日期，不代表论文的发表时间）

页数：共6页

页码：1701-1706