云存储系统中文件分界点确定方法——Cut-GAR

摘要：

针对Hadoop分布式文件系统(HDFS)中小文件定义模糊导致HDFS处理小文件性能不佳的问题,提出了一种云存储系统中文件分界点的确定方法——Cut-GAR.该方法分析消耗NameNode内存(M)、文件上传速度(MUFS)、文件读取速度(MAFS)与文件大小之间的关系,得出文件大小三个近似最优值,FM、FMUFS、FMAFS;然后利用灰度关联分析,将M、MUFS、MAFS作为评价指标,文件大小作为评价对象,得到评价指标-评价对象灰色关联度以及评价指标所占权重,将FM、FMUFS、FMAFS与对应权重相乘,得出文件分界点.实验结果表明,Cut-GAR在M、MUFS和MAFS三者之间取得平衡,可以有效确定文件分界点,提升小文件处理性能.

关键词：Hadoop分布式文件系统、小文件、文件分界点、Cut-GAR、灰色关联分析

所属期刊栏目：35

分类号：TP312.31(计算技术、计算机技术)

资助基金：黑龙江省自然科学基金重点项目ZD201403;哈尔滨市科技人才研究专项2014RFQXJ132

在线出版日期：2015-11-09（万方平台首次上网日期，不代表论文的发表时间）

页数：共6页

页码：2497-2502