基于Hadoop的海量车牌图像处理优化技术

摘要：

Hadoop集群下每个小文件均占据一个Block,一方面存储海量元数据信息消耗了大量的NameNode内存,另一方面,Hadoop为每个小文件单独启动一个Map任务,大量的时间花费在启动和关闭Map任务上,从而严重降低了MapReduce的执行速率.对此,在详细分析已有解决方案的基础上,采用CFIF将多个小文件分片打包到大分片中,给每个大分片只启动一个Map任务来执行,通过减少启动Map任务的数量,提高了处理海量小文件时的效率.通过设计Hadoop图像接口类,继承并实现CFIF抽象类,最终完成了对海量图像小文件的处理.与常规HDFS、HAR和MapFile方案在NameNode内存空间和运行效率方面进行了对比,结果表明,CFIF在NameNode内存占用率和运行效率方面,都有很好的表现.

关键词：海量小文件、Hadoop分布式文件系统、分片、打包

所属期刊栏目：28

分类号：TP391(计算技术、计算机技术)

资助基金：四川省教育自然科学重点项目12ZA200;成都理工大学工程技术学院青年科学基金C122016006

在线出版日期：2018-10-30（万方平台首次上网日期，不代表论文的发表时间）

页数：共5页

页码：135-138,144