基于Hive的智慧城市数据处理技术研究与实现

摘要：

对智慧城市系统中产生的大量数据进行有效的采集、合理的存储、高效精准的分析,进而对决策的做出提供合理的支持是在智慧城市建设过程中必须要解决的问题.对此,在充分理解智慧园区数据分析系统功能需求、性能需求的基础上,结合当前比较主流的数据分析方面的技术,提出了Kettle+Hive+Tableau的智慧园区数据分析解决方案.该系统具有较高的可用性、稳定性、效率以及非常高的扩展性、可移植性,不仅适合于对智慧园区的数据分析,还普遍适用于对智能化信息系统数据进行分析,具有较高的普适性、通用性.该系统通过ETL工具、数据可视化工具的应用,尽量减少在数据分析系统开发过程中代码的编写,能够适用于绝大部分有数据分析需求并且数据量较大的信息化系统.

关键词：智慧城市、Hive、数据采集、数据可视化分析

所属期刊栏目：28

分类号：TP311(计算技术、计算机技术)

资助基金：国家自然科学基金61502371

在线出版日期：2018-03-29（万方平台首次上网日期，不代表论文的发表时间）

页数：共5页

页码：9-13