基于SQL-on-Hadoop查询引擎的日志挖掘及其应用

摘要：

随着计算机和网络技术的迅猛发展以及数据获取手段的不断丰富,海量数据的实时处理需求日益增多,传统的日志分析技术在处理海量数据时存在计算瓶颈.大数据时代下,随着开放式处理平台的发展,能够处理大规模且多样化数据的大数据处理系统应运而生.为了让原有的业务能够充分利用Hadoop的优势,本文首先研究了基于大数据技术的网络日志分析方法,构建了网络日志分析平台以实现万亿级日志采集、解析、存储和高效、灵活的查询与计算.对比分析了Hive、Impala和Spark SQL这3种具有代表性的SQL-on-Hadoop查询系统实例,并展示了这类系统的性能特点.采用TPC-H测试基准对它们的决策支持能力进行测试及评估,通过对实验数据的分析和解释得到了若干有益的结论.实现了海量日志数据计算与分析在证券领域的几种典型应用,为进一步的研究工作奠定了基础.

关键词：大数据、日志分析、数据挖掘、Hadoop、查询引擎、数据采集、索引存储、证券行业

所属期刊栏目：12

分类号：TP391(计算技术、计算机技术)

资助基金：国家自然科学基金项目91646201,91546111,60803086;国家科技支撑计划子课题2013BAH21B02-01;北京市自然科学基金项目4153058,4113076;北京市教委重点项目KZ20160005009;北京市教委面上项目KM201710005023

在线出版日期：2017-12-18（万方平台首次上网日期，不代表论文的发表时间）

页数：共12页

页码：717-728