基于Solr的农田数据索引方法与大数据平台构建

摘要：

针对农田数据在高吞吐量、高并发、多条件处理过程中易产生运算负载大、响应速度慢等难题,研究了负载均衡大规模集群数据处理技术,优化了多条件检索时Hbase农田数据库,提出了基于Solr的二级非主键索引方法,搭建了基于Hadoop的农田大数据平台,采用农机深松、植保、保护性耕作等8种作业生成的100 TB数据对平台进行了检索实验和压力测试实验.实验结果表明,多条件检索时,优化后的技术模型在数据规模达到5×107条时,系统的响应时间小于1 s,优化的性能与原生Hbase相比提高了3倍;在模拟用户达到5×105次时,系统的QPS及TPS提高了1倍左右、RT提高了2.5倍,系统的平均响应时间为183 ms.本研究解决了高吞吐量、高并发导致农田数据检索效率低的问题,提高了海量农田数据实时处理的计算能力.

关键词：农田、大数据、索引、Solr、Hbase、Hadoop

所属期刊栏目：50

分类号：S24;TP391(农业电气化与自动化)

资助基金：国家重点研发计划项目2017YFD0700601

在线出版日期：2020-04-24（万方平台首次上网日期，不代表论文的发表时间）

页数：共7页

页码：186-192