COS:度量分布式大数据处理系统的效率

摘要：

[目的]在大数据处理领域,分布式计算系统得到广泛应用,它们的可扩展性得到重点关注,但其绝对性能往往没有得到重视.我们希望提出科学合理、与时俱进的度量标准,对分布式系统的性能进行评估.[方法]本文通过对比特定任务的单机实现和分布式实现来讨论分布式系统的性能,提出COS(Configuration that Outperforms a Single machine)这一指标,来衡量分布式系统在达到单台机器的性能时,需要的硬件资源数量.我们选取k-means聚类和逻辑回归两个经典机器学习算法,对其进行单机多线程实现,并通过向量化计算、优化内存分配与访问等方式对性能进行了优化,为分布式多机系统的性能提供参考.[结果]以Apache Spark作为对标系统,实验发现无论是使用其原生编程接口,还是经过悉心优化的机器学习库,都要使用数倍甚至数百倍的机器,才能达到单机多线程实现的性能.[局限]分布式系统与单机实现进行性能对比并不是完全公平的,分布式系统的额外开销客观存在.[结论]但COS指标仍能反映分布式系统存在的绝对性能较差、没有充分利用硬件优势等问题.

关键词：并行计算、大数据、多线程、k-means、逻辑回归

所属期刊栏目：2

在线出版日期：2020-06-18（万方平台首次上网日期，不代表论文的发表时间）

页数：共12页

页码：93-104