基于Hadoop的快速并行视频处理方法

摘要：

目前,基于Hadoop视频处理的传统方法都是通过MapReduce从本地文件系统读取数据,利用帧字节流进行MapReduce间数据传输,这会产生大量的系统IO,造成系统资源浪费;针对此问题,提出一种基于Hadoop平台的视频处理方法,实现Hadoop支持的视频类型扩展,设计了MapReduce相关视频数据处理接口,使Hadoop可以更快速处理视频文件;通过在多台计算机组成的集群实验表明,该方法在运行时间上比传统方法缩短10％,IO读写量减少50％以上,提升了Hadoop视频文件的处理效率.

关键词：Hadoop、Map-Reduce、并行计算、视频处理、IO读写量

所属期刊栏目：23

分类号：TN919

资助基金：国家自然科学基金项目61172181

在线出版日期：2016-01-14（万方平台首次上网日期，不代表论文的发表时间）

页数：共4页

页码：4117-4120