基于 Hadoop平台的并行特征匹配算法研究

摘要：

很多大企业采用Hadoop分布式文件系统来存储海量数据，而传统的病毒扫描主要针对单机系统环境。研究如何并行化病毒扫描中的核心特征匹配算法来处理分布式海量数据。在Hadoop平台下，基于MapReduce并行编程模型来实现大数据高效的病毒扫描，特别是针对Hadoop处理海量小文件效率低的问题，通过将小文件合并，再利用索引来提高海量小文件的处理效率。实验结果表明，提出的并行特征匹配算法可以显著降低处理时间，适用于大数据的病毒扫描。

关键词：分布式文件系统、大数据、特征匹配、并行扫描

分类号：TP301.6(计算技术、计算机技术)

资助基金：北京市优秀人才培养资助项目2012D005007000009;北京信息科技大学网络文化与数字传播北京市重点实验室开放课题ICDD201306;北京市属高等学校创新团队建设与教师职业发展计划项目IDHT20130519

在线出版日期：2014-11-15（万方平台首次上网日期，不代表论文的发表时间）

页数：共4页

页码：3320-3323