MapReduce环境下支持大规模文本检索的概念索引

摘要：

随着信息化技术飞速发展,爆炸性数据的增长以及数据的多样化给大数据检索带来了挑战.MapReduce作为一种并行处理框架,在大数据处理上具有明显优势.为此,结合概念格的相关知识,采用形式概念分析发现文档之间的关系并用格进行表示,提出一种新型的支持大规模文本检索的形式概念索引结构,给出基于MapReduce框架建立概念索引的相关算法.通过与Lucene索引进行比较,验证了所提索引的有效性.实验结果表明,将文档之间关系采用概念格表示并建立概念索引,能够提高大规模文本检索的性能.

关键词：大数据、MapReduce框架、数据检索、形式概念分析、概念格、概念索引

所属期刊栏目：41

分类号：TP18(自动化基础理论)

在线出版日期：2015-09-07（万方平台首次上网日期，不代表论文的发表时间）

页数：共7页

页码：48-54