云环境下分层的中间数据容错方法

摘要：

通常在云计算框架的处理过程中会产生大量的、短暂的，同时又非常重要的中间数据。一旦有服务器失效，将会导致中间数据失效，进而影响整个任务的计算。现有的数据容错处理方法仅仅采用简单的复制策<br>　　略，没有考虑中间数据的特点，会带来庞大的网络开销。因此，提出了一种有效的分层中间数据容错方法，即IDF_Support（intermediate data fault-tolerance_support）方法。通过将计算任务划分为不同类别，IDF_Support方法能够有效地处理中间数据失效。提出了分层的中间数据容错算法，分别是用于解决一个任务内部容错的中间数据容错算法（Inner_Task IDF）和用于解决任务间容错的中间数据容错算法（Outer_Task IDF）。实验结果表明，这些算法在机器出现故障的情况下提高了作业响应时间，保证了系统的可靠性。

关键词：云计算、中间数据、副本、容错算法

分类号：TP311.133.1(计算技术、计算机技术)

资助基金：The National Natural Science Foundation of China under Grant Nos.60873068,61472169;the Excellent Talent Support Program of Education Department of Liaoning Province of China under Grant No. LR201017;the Young Research Foundation of Liaoning University under Grant No. LDQN201438

在线出版日期：2015-06-02（万方平台首次上网日期，不代表论文的发表时间）

页数：共9页

页码：546-554