综采工作面海量数据挖掘分析平台设计

摘要：

当前综采工作面海量数据采集的实时性和完整性差、异常数据清洗耗时大、数据挖掘时延大,导致综采数据利用率低,无法辅助管理层实时下发决策指令.针对上述问题,设计了一种综采工作面海量数据挖掘分析平台.该平台由数据源层、数据采集存储层、数据挖掘层和前端应用层组成.数据源层由工作面各类硬件设备提供原始数据;数据采集存储层使用OPC UA网关实时采集井下传感器监测信息,再通过MQTT协议和RESTful接口将数据存入InfluxDB存储引擎;数据挖掘层利用Hive数据引擎和Yarn资源管理器筛选数据采集过程中受工作现场干扰形成的异常数据,解决因网络延时导致的数据局部采集顺序紊乱问题,并利用Spark分布式挖掘引擎挖掘工作面设备群海量工况数据的潜在价值,提高数据挖掘模型的运行速度;前端应用层利用可视化组件与后端数据库关联,再通过AJAX技术与后端数据实时交互,实现模型挖掘结果和各类监测数据的可视化展示.测试结果表明,该平台能够充分保证数据采集的实时性与完整性,清洗效率较单机MySQL查询引擎提升5倍,挖掘效率较单机Python挖掘引擎提升4倍.

关键词：综采工作面、海量数据、数据挖掘、数据采集、数据存储、数据清洗、数据可视化

所属期刊栏目：49

分类号：TD67(矿山电工)

资助基金：国家自然科学基金;山西省揭榜招标项目;科技兴蒙行动重点专项项目

在线出版日期：2023-06-07（万方平台首次上网日期，不代表论文的发表时间）

页数：共8页

页码：30-36,126