基于Hadoop的交互式大数据分析查询处理方法

摘要：

基于Hadoop的交互式大数据分析查询处理方法旨在快速分析查询大数据集的信息，最重要的特征就是查询速度快。该方法能够运行在上千节点的集群上，适于半结构化/嵌套数据的分析、兼容现有的SQL环境和Apache Hive。文中主要利用此方法实现连接HDFS、Hive以及Hbase进行查询测试，还完成了同时从不同数据源上关联查询数据。在同一Ha-doop集群环境中，将该方法与Spark SQL对于10万、20万、50万、100万、500万条数据进行查询速度对比测试。经过多次实验后得出，基于Hadoop的交互式大数据分析查询处理方法速度快、效率高，能够帮助企业用户快速、高效地进行Hadoop数据查询和企业级大数据分析。

关键词：Hadoop集群、大数据处理、交互式查询、快速、SQL

所属期刊栏目：26

分类号：TP302.1(计算技术、计算机技术)

资助基金：2015陕西省信息化技术研究项目课题2015-002

在线出版日期：2016-09-08（万方平台首次上网日期，不代表论文的发表时间）

页数：共5页

页码：134-137,142