基于可变长分块的分布式文件系统设计与实现

摘要：

分布式文件系统受传统磁盘文件系统影响,大多使用固定大小的对象或者块来组织和管理文件.定长的分块不适合随机写或插入写,开销大且性能差,但典型的用户约有25％的文件操作是随机写.针对上述现状,提出一种基于内容的可变长文件分块方法,使用拉宾指纹算法对文件进行分块,并根据文件的内容标识文件块.为更准确地指定写类型,提高写性能,给出与POSIX语义兼容的写接口.通过修改Ceph实现一种新的分布式文件系统VarFS,提供文件的可变长分块并支持新的写接口.实验结果表明,由于减少网络数据传输量,VarFS在随机写延迟和带宽消耗量上比Ceph减少了1个～2个数量级.

关键词：固定长分块、可变长分块、分布式文件系统、随机写、元数据服务器

所属期刊栏目：42

分类号：TP391(计算技术、计算机技术)

资助基金：国家“863”计划基金资助项目2013AA12A301;国家自然科学基金资助项目61100020;华为公司创新研究计划基金

在线出版日期：2016-07-13（万方平台首次上网日期，不代表论文的发表时间）

页数：共6页

页码：80-84,101