面向海量小文件的分布式存储系统设计与实现

摘要：

针对当前大数据环境下急速增长的小文件的保存和管理问题,提出一种基于分布式海量小文件存储系统的设计和实现方案.采用IO复用和异步调用技术开发分布式系统,保证良好的并发性能和扩展性,使用Redis系统提高元数据存储和检索效率,采用Google Protobuf设计一套消息传递和分发机制,通过块存储方案提高大量小文件在单机存储系统上的IO效率并降低磁盘碎片化.实验结果表明,该系统在并发性、吞吐率测试上都有良好表现,是一个较为稳定高效的海量小文件分布式存储系统.

关键词：分布式存储、小文件、海量数据、Protobuf、并发性

所属期刊栏目：37

分类号：TP316.4(计算技术、计算机技术)

在线出版日期：2016-04-19（万方平台首次上网日期，不代表论文的发表时间）

页数：共7页

页码：86-92