近数据计算下键值存储中Compaction并行优化方法

摘要：

大规模非结构化数据的爆炸式增长给传统关系型数据库带来了极大的挑战.基于日志结构合并树(log-structured merge tree,LSM-tree)的键值存储系统已被广泛应用,并起到重要的作用,原因在于基于LSM-tree的键值存储能够将随机写转化为顺序写,从而提升性能.然而,LSM-tree键值存储也存在一些性能问题.一方面,键值存储利用compaction操作更新数据,保持系统平衡,但造成严重的写放大问题.另一方面,以传统计算为中心的架构下,compaction操作带来大量的数据传输,影响了系统性能.以数据为中心的近数据计算模型(near-data processing,NDP)为基础,利用该模型下主机端与近数据计算使能设备端的并行资源,提出基于系统并行与流水线并行的compaction优化方法(collaborative parallel compaction optimization for LSM-tree key-value stores,CoPro).当处理 compaction 操作时,CoPro主机端与NDP设备端协同执行compaction卸载任务.此外,进一步提出基于决策组件的CoPro+,根据系统资源变化以及负载键值对中值大小的变化来动态调整并行度,使NDP架构中计算资源的使用更加高效.在搭建的硬件平台上验证了CoPro的有效性.

关键词：日志归并树、键值存储、近数据计算、任务卸载、数据-流水线并行

所属期刊栏目：59

分类号：TP391(计算技术、计算机技术)

资助基金：安徽高校协同创新项目;计算机体系结构国家重点实验室中国科学院计算技术研究所开放课题;国家自然科学基金;国家自然科学基金;国家自然科学基金

在线出版日期：2022-04-14（万方平台首次上网日期，不代表论文的发表时间）

页数：共20页

页码：597-616