一种关联感知的大数据导入方法

摘要：

针对现有数据库向大数据迁移的背景,Apache推出了Sqoop作为关系数据库向大数据迁移的主要工具.Sqoop简单地将数据表切分并随机存储到不同的节点上.针对Hadoop的这种存储方式带来的关系查询的低效率问题,设计了一种关联度感知的数据导入预处理方法.将关联度较高的表尽量存储在相邻的虚拟机节点,以降低关联数据查询带来的网络传输时延,提高系统的性能.对比实验表明,将关联性较强的数据表存放在相同或相邻节点上,可以成倍提高数据查询的性能.

关键词：大数据、Sqoop、Hadoop、NoSQL

所属期刊栏目：32

分类号：TP393(计算技术、计算机技术)

资助基金：江苏省自然科学基金资助项目BK2009426;江苏省高校自然科学基金资助项目14KJD520005;2013江苏省六大人才高峰计划基金;2013国家发展和改革委员会信息安全专项基金;国家电网公司2014年科技项目:电力信息通信网络流量预测和管理智能化关键技术研究及其应用;2015江苏省产学研前瞻性联合研究项目No.BY2015011-02Jiangsu Province Project of Natural Science FoundationBK2009426;Jiangsu Province Education Project of Natural Science Foundation14KJD520005;2013 Six Talent Peaks Project in Jiangsu Province,2013 Information Security Special Funds of the National Development and Reform Commission,State Grid 2014 Science and Technology Project:Research and Application of Network Traffic Prediction and Smart Pipe Key Technologies for Electric Power InformaBY2015011-02

在线出版日期：2016-05-03（万方平台首次上网日期，不代表论文的发表时间）

页数：共5页

页码：130-134