云存储多卷负载均衡的LSM键值存储系统

摘要：

单个云存储卷的IOPS和带宽性能受到限制,通过组合使用多个云存储卷的方式能以较低的费用获得更高的性能.但是,现有工作缺乏针对多云存储卷优化的LSM键值存储系统的探究.首先将现有多路径或哈希负载均衡的方案应用于使用多云存储卷的LSM键值存储系统,相对单个大容量卷的性能有显著提升;但是,现有多卷负载均衡方案的写数据策略,无法感知LSM键值存储系统的数据布局特点,导致各成员卷之间仍然存在负载不均衡的问题,不能充分发挥出多卷的最大性能.为此,提出一种云存储多卷负载均衡的LSM键值存储系统TANGO.在LSM键值存储系统由compaction新生成的sstable落盘之前,先根据统计的各个成员卷的关键信息,判断sstable与各成员卷的键范围重叠情况,然后选择键范围重叠最小的成员卷进行写入;针对读为主的负载,无法通过compaction达到负载均衡,TANGO采用后台数据迁移方式进一步达到负载均衡.在亚马逊云存储卷上的评估表明,相比相同存储容量的单卷,采用了TANGO方案的同等容量的多卷可提高7 倍左右的性能;相比其它多卷方案,TANGO能提升20%以上的性能,且各成员卷间负载更加均衡.

关键词：云存储、多卷、键值存储、日志结构归并树、负载均衡

所属期刊栏目：44

分类号：TP311(计算技术、计算机技术)

资助基金：国家自然科学基金;国家自然科学基金

在线出版日期：2023-10-30（万方平台首次上网日期，不代表论文的发表时间）

页数：共9页

页码：2157-2165