基于分布式无共享架构的海量数据并行查询平台

摘要：

针对海量数据查询所面对的数据加载和并行查询控制等难题,提出了一种基于分布式无共享架构的海量数据并行查询平台.该平台利用分布式无共享架构为海量数据查询提供结构化与非结构化数据的统一处理,实现平台内数据的聚合计算.平台的核心技术如下:首先提供了多类型数据的跨平台存储与统一数据加载;然后给出了基于负载均衡的多节点数据查询任务流分配技术,生成全局查询执行策略;最后采用Hash和Range两种方式实现查询任务流的并发控制.根据测试验证,本技术在查询时间上相比于无并行方式节约了近40％.实验结果表明,该技术在海量数据查询的正确性、可靠性、并发性上具有较好的性能.

关键词：海量数据查询、无共享结构、并发查询、数据加载

所属期刊栏目：46

分类号：TP391(计算技术、计算机技术)

资助基金：国家重点研发计划高性能计算专项2016YFB0200300 ,国家自然科学基金61572326 , 61702333 ,同济大学嵌入式系统与服务计算教育部重点实验室开放课题 ESSCKF 2016-01 ,上海市科委地方院校能力建设项目17070502800

在线出版日期：2019-05-28（万方平台首次上网日期，不代表论文的发表时间）

页数：共6页

页码：44-49