基于Spark的流程化机器学习分析方法

摘要：

Spark通过使用内存分布数据集,更加适合负载数据挖掘与机器学习等需要大量迭代的工作.但是数据分析师直接使用Spark进行开发十分复杂,包括scala学习门槛高,代码优化与系统部署需要丰富的经验,同时代码的复用度低导致重复工作繁多.本文设计并实现了一种基于Spark的可视化流程式机器学习的方法,一方面设计组件模型来刻画机器学习的基本步骤,包括数据预处理、特征处理、模型训练及验证评估,另一方面提供可视化的流程建模工具,支持分析者设计机器学习流程,由工具自动翻译为Spark平台代码高效执行.本工具可以极大的提高Spark平台机器学习应用开发的效率.论文介绍了工具的方法理论和关键技术,并通过案例表明工具的有效性.

关键词：机器学习、数据分析、分布式、大数据、Spark

所属期刊栏目：25

分类号：TP3;F2

资助基金：国家自然科学基金U1435220

在线出版日期：2017-01-06（万方平台首次上网日期，不代表论文的发表时间）

页数：共7页

页码：162-168