典型大数据计算框架分析

摘要：

认为大数据计算技术已逐渐形成了批量计算和流计算两个技术发展方向。批量计算技术主要针对静态数据的离线计算，吞吐量好，但是不能保证实时性；流计算技术主要针对动态数据的在线实时计算，时效性好，但是难以获取数据全貌。从可扩展性、容错性、任务调度、资源利用率、时效性、输入输出（IO）等方面对现有的主流大数据计算框架进行了分析与总结，指出了未来的发展方向和研究热点。

关键词：大数据分类、大数据计算、批量计算、流计算、计算框架

所属期刊栏目：22

分类号：TP393(计算技术、计算机技术)

资助基金：国家高技术研究发展“863”计划2013AA01A213；国家自然科学基金61572280、61433008、 U1435216、61373145

在线出版日期：2016-04-27（万方平台首次上网日期，不代表论文的发表时间）

页数：共5页

页码：14-18