Redis分布式缓存技术在Hadoop平台上的应用

摘要：

在使用Hadoop进行大规模数据分析时,经常会遇到的一个较为典型的问题就是共享数据的快速访问问题.该类问题存在的场景很多,如网页排名算法、最小错误率训练算法、最大期望算法等.虽然已有关于此类问题的解决方案,但实际取得的效果却不尽如人意.为此,提出了使用Redis内存数据库作为分布式缓存,以解决Hadoop中共享数据访问的问题.验证实验结果表明,Redis分布式缓存的吞吐率与集群规模有较好的线性关系,所提出的方法能够较好地解决Hadoop任务对共享数据的访问问题,同时也为其他大规模共享数据访问的问题提供了简便的解决思路.Redis作为开源的商业化工具,使得所提出的方法具有较好的适用性,可为科研以及生产实践中遇到的同类问题提供一种较为通用的解决方案.

关键词：Redis、分布式缓存、Hadoop、MapReduce

所属期刊栏目：27

分类号：TP311.5(计算技术、计算机技术)

资助基金：工信部高技术船舶项目2016[26]

在线出版日期：2017-07-12（万方平台首次上网日期，不代表论文的发表时间）

页数：共6页

页码：146-150,155