一种基于分布式平台 Hadoop 的矩阵相乘算法

摘要：

为了解决单节点上大矩阵相乘运算量过大的问题，提出了一种基于分布式平台 Hadoop 的矩阵相乘算法。算法采用了字节文件作为输入以及最优化的分片方式，去掉了不必要的 Reduce 过程，极大地减少了输入数据量，拥有简洁的算法流程和可拓展性。实验结果表明该算法很好地解决了矩阵相乘运算量过大的问题，当输入数据量接近集群最佳负载量的情况下取得了很好的加速比。

关键词：Hadoop 平台、分布式矩阵乘法、输入格式、分片方式

分类号：TP3;O15

资助基金：国家“863”计划基金重点项目2009AA012201;上海市科委科技攻关基金重大项目08dz501600

在线出版日期：2013-12-19（万方平台首次上网日期，不代表论文的发表时间）

页数：共6页

页码：149-154