EAST实验数据管理系统的设计与实现

摘要：

EAST实验装置存储在MDSPIus中的实验数据规模已达PB级别,数据之间的关联性复杂,数据展现不直观.为了帮助科研人员直观地读取分析数据,挖掘数据之间的内在关联以及预判采集通路设备故障,需要搭建一个实验数据管理系统.该数据管理系统采用传统数据库MySQL与Hive大数据数据仓库相结合的方式存储MDSplus数据源.使用MapReduce离线计算模型对海量实验数据进行计算建模,实现了海量实验数据的数据挖掘.关系型数据库和Hive数据仓库之间的数据传输方式简单便捷,可以轻松实现海量数据秒级备份.系统Web UI则采用了Ajax、jQuery EasyUI和Highcharts等前端技术,可以很好地将实验相关数据信息快速直观地展示给科研人员.介绍了EAST实验数据管理系统的整体架构的设计与实现.测试表明系统运行满足预期设计需求,对聚变实验数据的管理具有重要的应用价值.

关键词：先进实验超导托卡马克、MDSplus数据库、MySQL数据库、Hadoop、Hive

分类号：TL631(受控热核反应（聚变反应理论及实验装置）)

资助基金：国家重点研发计划;国家重点研发计划

在线出版日期：2019-02-22（万方平台首次上网日期，不代表论文的发表时间）

页数：共5页

页码：12-16