基于Hadoop的海量图片存储平台的设计与开发

摘要：

随着Internet的飞速发展与深入应用,海量图片数据的存取问题显得越发突出,传统存储架构已突显管理效率不高、存储能力不足及成本太高等问题,Hadoop为我们提供了一种新的解决问题的思路,Hadoop可以充分利用集群的威力进行高速运算和存储,但是小文件过多时Hadoop的NameNode将导致内存出现瓶颈问题,使得系统效率变得极为低下.该文提出了一种基于Hadoop的、可对海量图片文件进行高效处理的存储架构,通过预处理模块的归类算法,并引入扩展一级索引机制,能较好地解决海量图片的处理问题,并避免内存瓶颈问题.实验表明,该系统易维护、具有良好的可扩展性,其稳定性、安全性、并发性均有较大改善.

关键词：海量图片、Hadoop、分布式计算、存储架构

所属期刊栏目：14

分类号：TP311(计算技术、计算机技术)

资助基金：西华师范大学英才科研基金项目17YC178;四川省科技厅项目2018ZR0235;西华师范大学科研创新团队项目CXTD2017-6

在线出版日期：2018-07-26（万方平台首次上网日期，不代表论文的发表时间）

页数：共3页

页码：135-137