基于Hadoop的海量MP3文件存储架构

摘要：

MP3作为数字音乐时代的事实标准,数量已相当巨大,用户的访问需求也与日俱增,有效存储和管理海量的MP3文件,为用户提供良好的体验,越来越引起人们的关注.Hadoop的出现,提供了一种新的思路.但由于Hadoop自身并不适合海量小文件处理,提出一种基于Hadoop的海量MP3文件存储架构,充分利用MP3文件自身包含的丰富描述信息,通过预处理模块的归类算法,将小文件归并到Sequence File中,同时引入高效的索引机制,很好地解决了小文件过多时NameNode内存瓶颈问题.实验证明,该架构能达到良好的效果.

关键词：Hadoop、MP3、小文件、富元数据、存储架构

所属期刊栏目：32

分类号：TP311(计算技术、计算机技术)

资助基金：国家自然科学基金资助项目61070182,60873192

在线出版日期：2012-07-25（万方平台首次上网日期，不代表论文的发表时间）

页数：共3页

页码：1724-1726