应用分布式索引提高海量数据查询性能

摘要：

在电信领域的精准化营销、即席查询业务中，存在着大量针对一张宽表或几张宽表(超过50字段)的随机查询场景。传统处理模式(直接查询数据库)在数据量不大(<1000万)时，查询响应时间可优化到几秒至数十秒级，而当数据量到达几千万、上亿甚至十亿记录以上时，此处理模式无论如何优化或更改索引机制，都无法满足秒级并发查询要求。新的处理模式通过引入分布式 Solr 索引层解决上述问题。索引层预先对数据库记录建立索引，查询不再作用于数据库而直接查询索引层，如此，可大幅提高查询性能。经过对两种处理模式的对比验证，在相同环境下，数据量到达5000万，每秒20并发访问的宽表查询场景，传统处理模式的查询全部超时失败，而使用分布式索引层的查询可以在2秒以内返回，查询全部成功。

关键词：精准化营销、即席查询、海量数据、大数据、查询、Solr集群、分布式索引、分片、B-Tree

分类号：TP3;TP7

在线出版日期：2014-07-15（万方平台首次上网日期，不代表论文的发表时间）

页数：共3页

页码：259-261