针对微博信息分析的HBase存储结构设计

摘要：

随着互联网的发展，微博对人们生活的影响日益加深。由于微博用户的激增，微博数据量已经非常庞大，且每时每刻都在急速增长。面对这种形势，传统数据库对于海量数据的处理效率已经难以满足需求，于是NoSQL数据库应运而生。文章采用的HBase是目前比较受欢迎的开源NoSQL之一。作为依赖于HDFS分布式存储架构的新型NoSQL数据库，HBase不仅能满足高效的结构化数据存储，并通过Mapreduce实现高效处理，还能存储非结构化数据，为海量数据提供相对灵活的信息存储管理。最重要的是，HBase的集群扩展起来非常方便，只需要增加Slave节点机器即可，比传统数据库的读写分离、分表等扩展操作要简便得多。文章研究了针对微博信息的HBase行键设计，从深度信息、广度信息等不同角度探讨行键的设计，并通过二级索引改善HBase的查询效率。在不更改HBase源代码的前提下，文章解决了信息查询在很大程度上受到行键设计制约的问题，并充分考虑了适用于微博图片、链接等信息的存储方式，满足微博信息的高效管理。

关键词：微博、Hadoop、NoSQL、HBase、二级索引

分类号：TP309(计算技术、计算机技术)

在线出版日期：2016-11-04（万方平台首次上网日期，不代表论文的发表时间）

页数：共5页

页码：267-271