基于HDFS的大数据文件传输实验设计

摘要：

随着云计算应用技术及相关研究的发展,云编程模式也有了新的技术革新.在高校校园网实验教学体系中,云平台的相关实验已经成为大数据分析等课程配套实验的主要内容.使用 HDFS 架构,搭建稳定、实用、符合实验课程体系的大数据实验平台,成为高校校园网实验研究的新课题.选用开源云计算平台Hadoop,作为基础平台进行大数据分析实验,搭建基本的实验平台,进行数据处理平台的优化处理.通过 HDFS 为分布式计算存储提供底层应用支持,实现NameNode 和 DataNode 的通信,将用户通过数据块的方式将文件存储到节点中,及时处理客户端的读写请求,并在 NameNode 的统一调度下进行数据块的创建、删除、复制和映射.根据具体的实验方法,有针对性的制定实验流程.

关键词：云计算、大数据分析、网络通信、开源框架、实验平台

所属期刊栏目：38

分类号：TP393.01(计算技术、计算机技术)

资助基金：国家自然科学基金项目61175062

在线出版日期：2020-03-29（万方平台首次上网日期，不代表论文的发表时间）

页数：共4页

页码：132-134,215