基于Apache Spark的地震观测数据噪声功率谱计算

摘要：

为解决单机环境下海量地震观测数据计算和分析效率低下的问题,提出一种基于分布式架构的地震观测数据的存储、计算和分析处理方法,选择噪声功率谱复杂计算过程的应用场景进行实现.基于Hadoop在海量数据处理上的性能优势,在分布式文件存储系统HDFS上进行地震观测数据的存储和调度,研究测震数据噪声功率谱的质量评估方法在Spark分布式计算架构上的实现,采用弹性数据集Spark RDD将计算任务自动分配到计算节点,解析存储在HDFS中的测震波形数据,计算结果采用RowKey方式放入分布式数据库HBase中,实现了长周期地震噪声功率谱结果的存储和提取.计算结果表明,基于Spark分布式架构的该方法可以支撑TB级海量数据的处理,并且具有较高的处理效率,可应用于海量地震观测数据的分析计算.

关键词：地震观测数据;噪声功率谱;Spark;Hadoop;分布式

所属期刊栏目：30

资助基金：国家重点研发计划;中国地震局监测、预报、科研三结合课题

在线出版日期：2021-08-26（万方平台首次上网日期，不代表论文的发表时间）

页数：共7页

页码：126-132