基于Spark的大数据分析平台的设计和应用

摘要：

目的 针对当前大数据处理在数据存储、计算速度和分析算法等方面的技术难题,提出有效的一体化解决方案.方法 以Spark计算框架、Hadoop分布式存储和机器学习算法3项技术为支撑,构建大数据在线分析服务平台,并在平台上对¨型糖尿病分类任务进行训练和预测.通过对比实验证明,基于Spark框架和Spark机器学习算法进行大数据分析,大大提高了计算效率,减少了时间成本.结论 基于Spark框架的大数据分析平台能够实现海量数据的快速存储和计算,降低医疗行业数据分析领域的技术门槛,有利于促进大数据产业加快发展.

关键词：Spark、大数据、机器学习、分类与回归

所属期刊栏目：16

分类号：R-39;R319(医学研究方法)

资助基金：上海市科委民生科技支撑计划专项临床医学科技创新项目17411950500,17411950505

在线出版日期：2019-12-04（万方平台首次上网日期，不代表论文的发表时间）

页数：共5页

页码：633-637