基于Hive的海量搜索日志分析系统研究

摘要：

针对传统分布式模型在海量日志并行处理时的可扩展性和并行程序编写困难的问题,提出了基于Hive的Web海量搜索日志分析机制.利用HQL语言以及Hadoop分布式文件系统(HDFS)和MapReduce编程模式对海量搜索日志进行分析处理,对用户搜索行为进行了分析研究.对用户搜索行为中的查询热点主题、用户点击数和URL排名、查询会话的分析结果对于搜索引擎的排序算法和系统优化都有一定的指导意义.

关键词：Hadoop、MapReduce、HQL语言、Web日志、搜索引擎、用户行为分析

所属期刊栏目：30

分类号：TP391(计算技术、计算机技术)

在线出版日期：2013-12-05（万方平台首次上网日期，不代表论文的发表时间）

页数：共3页

页码：3343-3345