层次维编码片段立方体生成算法应用研究

摘要：

数据量大、数据多维是水利普查数据的重要特征.根据水利普查决策分析的需要,在对数据立方体技术研究的基础上,基于部分物化策略,提出了建立层次维编码片段立方体(HDEFC).利用维度属性的概念分层特性,在层次维片段中采用混合索引(B-tree和Bit Code)技术对每个层次维的层次属性进行二进制编码,再利用生成的维度编码代替原表中关键字,非层次维片段中采用倒排索引技术对每个片段子立方体进行物化,减少了多表连接操作,从而提高OLAP查询效率.实验结果表明,生成的HDEFC占用较小的存储空间,查询方法在面对高维的复杂查询时具有优势.通过建立水利普查数据分析系统,说明了该方法能够有效地解决因数据量庞大、维度多导致的数据计算和查询效率低下等问题,降低了物化水利普查成果数据立方体的时间和空间成本.

关键词：水利普查、数据多维、数据立方体、数据分析系统、层次维编码片段

所属期刊栏目：27

分类号：TP391(计算技术、计算机技术)

资助基金：国家科技支撑计划课题2015BAB07B01;水利部公益性行业科研专项201501022

在线出版日期：2017-04-28（万方平台首次上网日期，不代表论文的发表时间）

页数：共5页

页码：134-138