基于Spark的海量图像检索系统设计

摘要：

随着互联网，多媒体技术快速发展，互联网上的图像数量飞速增长，如何快速、有效地在海量的图像数据中找到用户需要的图像成为研究的热点。传统的图像检索系统基于单节点的架构，在处理海量图像数据时存在速度慢、并行性差、内存不足等问题。提出了一种基于 Spark 的海量图像检索方法，将图像检索技术与 Spark 计算框架相结合。图像集分布式地存储在HDFS 中，能够进行分布式地特征提取、模型训练、在线检索。与单节点检索系统相比，该方法在处理大数据图像检索时，具有速度快，可扩展性强等优点，能够处理单机无法处理的海量图像数据。在holiday数据集上的实验结果表明，该方法有效地提高了算法的运行速度。

关键词：图像检索、海量数据、Spark、HDFS

分类号：G642.423(高等教育)

资助基金：国家科技支撑计划2013BAH09F01；上海市科委科技创新行动计划14511106900

在线出版日期：2015-11-25（万方平台首次上网日期，不代表论文的发表时间）

页数：共4页

页码：11-13,17