一种基于Hadoop+CUDA实现相关器的方法

摘要：

根据21CMA相关器的算法特点,在对比基于CPU并行的MPI集群、MPI+CUDA异构并行集群和Hadoop+CUDA异构并行集群的架构特点的基础上,提出了一种基于Hadoop+ CUDA平台实现软相关器的方法.本方法利用GPU在计算FFT、向量乘和向量加等密集型计算模型的优势,设计相关器的并行模型,使其性能较前期在CPU并行的MPI集群实现的相关器有了大幅提升.同时,本文选择广泛应用于大数据处理平台的Hadoop软件架构,利用Hadoop Streaming工具实现非Java编写的程序在分布式系统中并行执行,非常便捷地获得了集群系统的线性加速比.Hadoop HDFS并行文件系统管理结果数据和过程日志更加灵活可靠,为后续的大数据分析提供了支撑环境.

关键词：Hadoop、CUDA、21CMA、相关器

所属期刊栏目：38

分类号：TP312(计算技术、计算机技术)

在线出版日期：2016-02-29（万方平台首次上网日期，不代表论文的发表时间）

页数：共6页

页码：46-51