异构分布式存储系统再生码数据修复的节点选择方案

摘要：

近年来,海量数据的增长给现有的存储系统带来了严峻的挑战,包括存储成本和数据可靠性要求等.纠删码由于在相同的存储开销下可以提供更高的数据可靠性,得到了学术界和工业界的广泛关注.但由于纠删码的编码特性,让使用纠删码的存储系统在数据修复过程中增加了许多其他方面的额外开销,如计算、调度、传输、磁盘读写等.近年来对纠删码数据修复的研究都基于这样一个假定:分布式存储系统中各个节点是无差别的.然而,实际情况是,在大规模的数据中心中,设备替换、硬件故障等原因不仅会导致数据丢失,还会导致数据中心的各个存储节点的存储成本不同,从而使每个存储节点上所存储的数据量并不总是相等,这种现象被称为存储容量异构.存储容量异构场景下的修复过程面临供应节点的选择问题,需要设计一个节点选择策略来降低修复开销,提高存储系统的可靠性和可用性.鉴于实际数据修复过程中参与修复的节点对数据的传输成本不同,提出节点选择策略——树形拓扑修复算法,以降低整个修复过程中的修复成本.仿真结果表明,相对IFR码的固定节点选择策略,文中提出的树形选择策略在平均情况下可以进一步降低数据修复成本.

关键词：分布式存储系统、节点异构、再生码、数据修复

所属期刊栏目：46

分类号：TP309.3(计算技术、计算机技术)

资助基金：国家自然科学基金项目61402172;江西省教育厅项目GJJ150509;教育部人文社科基金15YJA860013

在线出版日期：2019-09-05（万方平台首次上网日期，不代表论文的发表时间）

页数：共7页

页码：35-41