数据平台的设计和实现以及大赛中的应用

摘要：

得益于大数据相关的开源软件蓬勃发展,中小企业和机构也可以进行大数据平台的搭建和应用.但是数据平台在实际应用中仍然有很多挑战,例如如何进行开放数据的共享和计算,并保证代码安全等.基于开源软件设计了一个数据平台架构来让用户一站式地共享数据和计算,同时跟踪和审核代码.根据此设计搭建了一个生产环境,并给出了基本的测试来验证平台的可用性.把平台开放给外界使用,成功地支持了上海开放数据创新应用大赛(Shanghai Open Data Apps,SODA)中的大量用户的数据共享和计算需求.

关键词：大数据、数据分析、数据处理、数据平台、Hadoop

所属期刊栏目：12

分类号：TP311(计算技术、计算机技术)

资助基金：The National Natural Science Foundation of China under Grant No.61371084

在线出版日期：2018-01-22（万方平台首次上网日期，不代表论文的发表时间）

页数：共10页

页码：39-48