基于Spark的大数据热图可视化方法

摘要：

针对普通客户端浏览和分析大数据困难的问题，结合 Spark 和 LOD 技术，以热图为例提出一种面向大数据可视化技术框架。首先利用Spark平台分层并以瓦片为单位并行计算，然后将结果分布式存储在HDFS上，最后通过web 服务器应用 Ajax 技术结合地理信息提供各种时空分析服务。文中重点解决了数据点位置和地图之间的映射，以及由于并行计算导致的热图瓦片之间边缘偏差这2个问题。实验结果表明，该方法将数据交互操作与数据绘制和计算任务分离，为浏览器端大数据可视化提供了一个新的思路。

关键词：热图、并行计算、大数据、细节层次

所属期刊栏目：28

分类号：TP391.41(计算技术、计算机技术)

资助基金：国家自然科学基金61303141,61272302;浙江省自然科学基金LY12F02034;国家“八六三”高技术研究发展计划2015AA016404

在线出版日期：2016-11-08（万方平台首次上网日期，不代表论文的发表时间）

页数：共6页

页码：1881-1886