基于Spark的分布式大数据分析建模系统的设计与实现

摘要：

针对分布式大数据对数据存储、清洗、转化、聚合、挖掘和分析工作所造成的挑战,设计并实现了一种基于Spark的分布式大数据分析建模系统.该系统通过数据采集、数据存储、数据分析、数据管理和数据应用5个模块,实现结构化、半结构化及非结构化数据的适配采集与离线、在线分析处理;并使用管理和控制平台,实现系统的协调运行.软硬件实现及建模测试结果表明,所提出的系统能实现具体场景故障诊断数据的有效、精确聚类,并可满足大数据处理的速度和精度需求.

关键词：分布式大数据、Spark、数据分析、数据建模、非结构化数据、故障诊断

所属期刊栏目：41

分类号：TN919-34;TM76

资助基金：2017年度贵州省科学技术厅、黔南州科学技术和知识产权局、黔南民族师范学院联合基金计划项目黔南科合社字201795号

在线出版日期：2018-10-30（万方平台首次上网日期，不代表论文的发表时间）

页数：共4页

页码：172-174,178