一种面向海量小文件的文件接收和存储优化方案
HDFS是目前最典型的云存储平台,它凭借其高容错、可伸缩和廉价存储的优点支持大规模数据集的存储.但是HDFS对于海量、高并发、连续、高速的小文件的接收和存储效率并不高.针对这一问题,提出一种优化方案RSMSF.在该方法中,文件缓存服务器不断地接收前端文件,给文件添加标识信息并存放到对应的文件队列.当文件队列满足某一窗口阈值时,根据一致性哈希算法将该队列中的文件发送到对应的文件处理服务器上进行文件合并处理,最后上传到HDFS.实验表明,RSMSF方法减少了文件的处理时间,降低了文件丢失率,同时降低了HDFS中内存的开销,节约了存储空间.
HDFS、海量、小文件、RSMSF、阈值、一致性哈希
36
TP311(计算技术、计算机技术)
北京市教育委员会科技计划面上项目KM201310009003;北京市教育委员会科技计划重点项目KZ201310009009;北京市属高等学校创新团队建设与教师职业发展计划项目IDHT20130502;北方工业大学博士启动基金
2016-09-18(万方平台首次上网日期,不代表论文的发表时间)
共5页
1747-1751