SFFS：低延迟的面向小文件的分布式文件系统

摘要：

社交网站和电子商务等网络服务发展迅速，这类服务需要存储大量图片、音乐、微博文本等小文件。传统的分布式存储系统，如HDFS（Hadoop distributed file system），是面向大文件而设计的，在存储小文件时会产生元数据开销过大，访问延迟较高等问题，不能适应存储海量小文件的应用环境。分析了TFS（Taobao file system）的系统架构和读写流程，发现TFS在每次读/写过程中至少要建立3次网络连接，增大了读写延迟。针对海量小文件存储带来的挑战和TFS存在的问题，提出了一种新的低延迟、高可用的面向海量小文件的分布式存储方案，并实现了分布式文件系统SFFS（small-file file system）。性能测试表明，SFFS和TFS相比，写延迟降低了76.6%，读延迟降低了约10%。通过对系统结构的分析，相比于TFS，SFFS在中心节点的负载更轻，失效恢复更快，在可用性方面更有优势。

关键词：小文件、低延迟高可用、分布式存储

分类号：TP302(计算技术、计算机技术)

资助基金：The National Natural Science Foundation of China under Grant No.61272167;the National High Technology Research and Development Program of China under Grant No.2011AA01A204国家高技术研究发展计划863计划;the National Science and Technology Major Special Project of China under Grant No.2012ZX01039-004

在线出版日期：2014-04-15（万方平台首次上网日期，不代表论文的发表时间）

页数：共8页

页码：438-445