云环境下的时空数据小文件存储策略

摘要：

云环境下的网络应用中存在着海量的时空数据小文件,针对HDFS处理小文件效率不高的问题,提出了一种结合用户访问规律与数据自身属性的数据处理方案.该方案将用户访问转化为数据请求序列,根据数据的时空属性提取并构建特征序列,通过模板匹配找到用户在不同访问模式下的特征模板,发现模板内文件之间的访问相关性,合并相关文件.实验结果表明,该方案有效地提高了系统对小文件的存储读取效率,减小了网络应用的响应时间.

关键词：云存储、小文件、时空数据、特征提取、模板匹配

所属期刊栏目：39

分类号：P208(一般性问题)

资助基金：国家973计划资助项目2011CB302306;国家自然科学基金资助项目41271398;The National 973 Program of China,No.2011CB302306;the National Natural Science Foundation of China,No.41271398.

在线出版日期：2014-11-19（万方平台首次上网日期，不代表论文的发表时间）

页码：1252-1256