基于位置敏感哈希的海量文本数据查询算法研究

摘要：

提出了一种基于位置敏感哈希算法的海量文本数据查询算法，通过位置敏感哈希算法将文本数据的特征向量映射到哈希桶中，从而有效地降低了计算复杂度并提高了数据检索的效率。首先，利用TF-IDF特征表示文本的特征向量，并根据给定的哈希函数集把文本的特征向量映射至哈希桶；接下来，利用哈希表为给定的文本计算出与之对应的直方图，通过直方图距离计算文本的相似度；最后，通过计算目标文本集中的文本与待查询文本的相似度进行文本排序，排序分值高的文本作为相关文本返回给用户。实验结果表明，对比已有方法文本提出的算法在MAP以及查全率-查准率曲线两个测度上都获得了较好的性能。

关键词：位置敏感哈希、海量文本数据、哈希桶、排序

分类号：TP391(计算技术、计算机技术)

资助基金：黑龙江省教育厅2013年度科学技术研究面上项目12531089。

在线出版日期：2013-11-13（万方平台首次上网日期，不代表论文的发表时间）

页数：共3页

页码：70-72