基于组件的大数据分析服务平台

摘要：

随着数据规模的快速增长,单机的数据分析工具已经无法满足需求.针对大数据的分析问题,设计并实现了一种基于组件的大数据分析服务平台Haflow.Haflow自定义了业务流程模型和可扩展的组件接口,组件接口支持各种异构工具的集成.系统接收用户定义的业务流程,将其翻译成执行流程实例,提交到Hadoop分布式集群上执行.Haflow是一个可扩展的、分布式的、支持异构分析工具的、面向服务的大数据分析服务平台.提出该平台有两重意义:一方面平台将与数据分析业务无关的工作封装起来,支持各种异构组件,以加快分析应用的开发速度;另一方面,平台后端使用Hadoop分布式系统来实现多任务的并发,从而提高应用的平均执行速度.

关键词：大数据、数据分析、数据挖掘、组件、分布式、服务、平台

所属期刊栏目：41

分类号：TP311.56(计算技术、计算机技术)

资助基金：国家自然科学基金61202065,61170074;国家863计划2012AA011204;国家科技支撑计划2012BAH05F02

在线出版日期：2014-11-03（万方平台首次上网日期，不代表论文的发表时间）

页数：共5页

页码：75-79