基于大数据的铁路信号系统数据存储与分析系统设计与实现

摘要：

文章基于Hadoop技术,设计并实现了一个铁路信号数据存储与分析系统.首先,文章研究了Hadoop平台下分布式系统工作原理、HDFS分布式文件管理作用机制、MapReduce模型.然后,针对信号检测大数据设计相关文件解析接口,处理包括txt和CSV格式的数据包;利用HDFS分布式文件管理系统完成对数据的存储和管理;根据数据存储结构设计HBase表,建立快速存取查询索引,并编写HBase操作的各式API.最后,利用ExtJS搭建前端展示页面,通过服务器与Hadoop平台通信完成电气特性分析和日志分析,并将数据处理结果以列表、曲线图和散点图的可视化方式展示在前端;同时完成了对海量数据的挖掘和可视化展现工作.

关键词：大数据、Hadoop、MapReduce、数据存储与分析、铁路信号系统

分类号：TP393(计算技术、计算机技术)

资助基金：国家自然科学基金61672384;上海市优秀学术带头人计划15XD1503600;计算机体系结构国家重点实验室开放课题CARCH201408

在线出版日期：2017-04-06（万方平台首次上网日期，不代表论文的发表时间）

页数：共9页

页码：29-37