10.3969/j.issn.1003-3254.2014.06.050
应用分布式索引提高海量数据查询性能
在电信领域的精准化营销、即席查询业务中,存在着大量针对一张宽表或几张宽表(超过50字段)的随机查询场景。传统处理模式(直接查询数据库)在数据量不大(<1000万)时,查询响应时间可优化到几秒至数十秒级,而当数据量到达几千万、上亿甚至十亿记录以上时,此处理模式无论如何优化或更改索引机制,都无法满足秒级并发查询要求。新的处理模式通过引入分布式 Solr 索引层解决上述问题。索引层预先对数据库记录建立索引,查询不再作用于数据库而直接查询索引层,如此,可大幅提高查询性能。经过对两种处理模式的对比验证,在相同环境下,数据量到达5000万,每秒20并发访问的宽表查询场景,传统处理模式的查询全部超时失败,而使用分布式索引层的查询可以在2秒以内返回,查询全部成功。
精准化营销、即席查询、海量数据、大数据、查询、Solr集群、分布式索引、分片、B-Tree
TP3;TP7
2014-07-15(万方平台首次上网日期,不代表论文的发表时间)
共3页
259-261