10.16208/j.issn1000-7024.2016.01.018
面向海量小文件的分布式存储系统设计与实现
针对当前大数据环境下急速增长的小文件的保存和管理问题,提出一种基于分布式海量小文件存储系统的设计和实现方案.采用IO复用和异步调用技术开发分布式系统,保证良好的并发性能和扩展性,使用Redis系统提高元数据存储和检索效率,采用Google Protobuf设计一套消息传递和分发机制,通过块存储方案提高大量小文件在单机存储系统上的IO效率并降低磁盘碎片化.实验结果表明,该系统在并发性、吞吐率测试上都有良好表现,是一个较为稳定高效的海量小文件分布式存储系统.
分布式存储、小文件、海量数据、Protobuf、并发性
37
TP316.4(计算技术、计算机技术)
2016-04-19(万方平台首次上网日期,不代表论文的发表时间)
共7页
86-92