基于Spark SQL的分布式全文检索框架的设计与实现

摘要：

随着信息化的深入,大数据在各个领域产生了巨大的价值,海量数据的存储和快速分析成为新的挑战.传统的关系型数据库由于性能、扩展性的不足以及价格昂贵等方面的缺点,难以满足大数据的存储和分析需求.Spark SQL是基于大数据处理框架Spark的数据分析工具,目前已支持TPC-DS基准,成为大数据背景下传统数据仓库的替代解决方案.全文检索作为一种文本搜索的有效方式,能够与一般的查询操作结合使用,提供更加丰富的查询和分析操作.目前,Spark SQL仅支持简单的查询操作,不支持全文检索.为了满足传统业务迁移和现有业务的使用需求,提出了分布式全文检索框架,涵盖了SQL文法、SQL翻译转换框架、全文检索并行化、检索优化4个模块,并在Spark SQL上进行了实现.实验结果表明相比于传统的数据库,在两种检索优化策略下,该框架的索引构建时间、查询时间分别减少到传统数据库的0.6％/0.5％ 和1％/10％,索引存储量减少为传统数据库的55.0％.

关键词：Spark、SQL、全文检索、翻译转换框架、检索并行化、检索优化

所属期刊栏目：45

分类号：TP391.3(计算技术、计算机技术)

资助基金：北京市科技重大项目D171100003417002

在线出版日期：2018-10-23（万方平台首次上网日期，不代表论文的发表时间）

页数：共10页

页码：104-112,145