基于Hadoop平台的相关性权重算法设计与实现

摘要：

传统TF-IDF算法仅从词频与逆向文档频率的角度计算关键词与文档之间的相关性权重, 忽略了用户兴趣对权重计算的影响.为此, 以满足用户信息检索目的为研究背景, 提出一种基于日志关联的相关性权重算法.从面向用户相关性的角度出发, 通过分析用户的搜索日志建立用户兴趣模型, 并结合分布式计算的思想, 运用MapReduce编程框架实现计算任务的并行化处理.实验结果表明, 该算法在处理海量数据时, 不仅能够提高算法效率, 而且可以根据用户的历史检索记录动态地改变检索词的权重, 提升用户与系统的交互能力.

关键词：分布式计算、TF-IDF算法、日志、兴趣模型、信息检索

所属期刊栏目：45

分类号：TP391(计算技术、计算机技术)

资助基金：国家自然科学基金41701523;上海海事大学研究生创新基金YXR2017032

在线出版日期：2019-05-31（万方平台首次上网日期，不代表论文的发表时间）

页数：共6页

页码：26-31