海量数据存储模型的研究

摘要：

随着互联网上信息量的爆炸式增长,海量网页数据的存储出现了难题.针对海量网页数据进行存储的问题,传统的集中式存储和管理方案已经难以提供高效、可靠和稳定的服务.本文设计并实现了一种针对海量网页数据进行存储的分布式平台模型.该模型利用Ha-doop集群和基于HDFS分布式文件系统的Hbase数据库实现高效率地分析、计算和存储海量数据,以MapReduce计算模型和Zookeeper同步协同系统保持数据写入的高效性和一致性.最后通过实验测试,该存储模型可以克服传统的存储模型存储时存在的读写效率低、数据写入不一致的问题,同时具有良好的扩展性、可行性、稳定性和可靠性.

关键词：Hadoop集群、MapReduce、HBase

所属期刊栏目：23

分类号：TP399(计算技术、计算机技术)

在线出版日期：2014-12-18（万方平台首次上网日期，不代表论文的发表时间）

页数：共5页

页码：32-35,40