基于预测的云计算热点数据副本因子决策算法

摘要：

为了提高数据的可用性和集群的整体性能，目前的HDFS（ Hadoop Distributed File System）采用了副本数目固定的副本放置技术，然而由于文件热度存在较大差异，对那些具有较高热度文件的访问将影响作业的执行。为克服上述问题，本文提出一种基于预测的热点数据副本因子决策算法。根据数据的最近访问特征，基于灰色预测技术，采用马尔科夫预测模型修正因数据波动和突发访问造成的预测偏差，获取文件的未来访问热度，并基于预测值建立有限通道服务模型，寻找满足用户需求的最小副本因子。实验表明，较之现有的副本管理策略和基于实时热度调整副本因子策略，本策略可以有效减少热点数据的访问冲突，减少热点数据作业的执行时间和网络负载。

关键词：热点数据、副本管理、云计算、Hadoop、灰色预测、生灭过程

分类号：TP274(自动化技术及设备)

资助基金：国家自然科学基金资助项目61202350

在线出版日期：2015-03-25（万方平台首次上网日期，不代表论文的发表时间）

页数：共6页

页码：62-66,72