10.11896/j.issn.1002-137X.2018.09.016
基于Spark SQL的分布式全文检索框架的设计与实现
随着信息化的深入,大数据在各个领域产生了巨大的价值,海量数据的存储和快速分析成为新的挑战.传统的关系型数据库由于性能、扩展性的不足以及价格昂贵等方面的缺点,难以满足大数据的存储和分析需求.Spark SQL是基于大数据处理框架Spark的数据分析工具,目前已支持TPC-DS基准,成为大数据背景下传统数据仓库的替代解决方案.全文检索作为一种文本搜索的有效方式,能够与一般的查询操作结合使用,提供更加丰富的查询和分析操作.目前,Spark SQL仅支持简单的查询操作,不支持全文检索.为了满足传统业务迁移和现有业务的使用需求,提出了分布式全文检索框架,涵盖了SQL文法、SQL翻译转换框架、全文检索并行化、检索优化4个模块,并在Spark SQL上进行了实现.实验结果表明相比于传统的数据库,在两种检索优化策略下,该框架的索引构建时间、查询时间分别减少到传统数据库的0.6%/0.5% 和1%/10%,索引存储量减少为传统数据库的55.0%.
Spark、SQL、全文检索、翻译转换框架、检索并行化、检索优化
45
TP391.3(计算技术、计算机技术)
北京市科技重大项目D171100003417002
2018-10-23(万方平台首次上网日期,不代表论文的发表时间)
共10页
104-112,145