一种大数据流内存B+树构建方法

摘要：

面向具有时间维度的大数据流,基于二级B+树索引结构,提出了一种高效的面向时间窗口、采用批量装载技术的内存B+树构建方法.该方法对时间窗口进行分片,通过分离出可以并行处理的操作来加速构建过程,将排序操作与数据流接收并行,B+树骨架的构建与排序并行;采用基于排序的批量装载技术以及优化的构建顺序,能够避免多线程之间不必要的加锁、同步开销,有效提高构建效率.提出的多次微批量排序单次批量装载(MBSortSBLoad) B+树构建方法的构建速度快,能承载的最大流速大.实验验证了所提方法的有效性.

关键词：B+树、数据流、内存索引、大数据

所属期刊栏目：45

分类号：TP333.3(计算技术、计算机技术)

资助基金：浙江省基金项目LY14F020017,LQ15F020007;国家基金项目61070042

在线出版日期：2018-04-23（万方平台首次上网日期，不代表论文的发表时间）

页数：共8页

页码：171-177,212