10.3969/j.issn.1007-757X.2015.02.001
基于Hadoop的优化海量录音小文件存取性能的方法
Hadoop作为一个分布式计算框架,在处理大容量数据方面有着显著优势.然而,因其NameNode节点问题的内存有瓶颈等问题,对于处理海量小文件的存取不利.提出了一种针对海量录音小文件的优化方法,充分利用录音文件相关性的特点,通过预处理模块归类文件,把录音小文件合并成一系列的sequencefile,并建立全局索引,最后,采用缓存机制及缓存优化策略进行进一步优化.实验证明,该方法能有效提高大批量小文件的存取性能.
Hadoop、小文件、优化、存储性能
31
TP311(计算技术、计算机技术)
国家自然科学基金资助项目61272468
2015-03-30(万方平台首次上网日期,不代表论文的发表时间)
共3页
1-3