基于SolrCloud的分布式科技项目查重系统

摘要：

从海量科技项目文件库检测出与待检测科技项目的相似文本,设计能够支持实时响应的可扩展的科技项目查重系统.首先采用分布式计算对科技项目文件进行预处理,建立全文倒排索引;然后在分布式SolrCloud系统上执行相似性计算,采用标题段落语句模型(TPSM)计算待检测科技项目文本与全库科技项目文本的相似度.搜狗实验室约10万篇规模文本集上的测试结果表明:所提出的标题段落语句模型(TPSM)调和平均值比全文向量空间模型(FVSM)高出约15％,比段落空间模型(PVSM)高出8％左右;在检测性能上,一篇1000字左右的待检测论文检测时间约为10 s,达到实时检测需求.实验结果同时表明,基于SolrCloud的分布式系统的扩展性、容错性均能满足实际需求.

关键词：SolrCloud、科技项目、相似度计算、Lucene、分布式系统

所属期刊栏目：38

分类号：TP311.13(计算技术、计算机技术)

资助基金：广东省科技计划项目“自构建的科研管理公共服务平台研究与应用”2014B070706007;“面向无线智能规划优化的海量现网数据处理平台”2013B091300009;广东省重大科技项目“科技业务综合管理系统流程再造及功能完善”2012B080500008

在线出版日期：2018-06-15（万方平台首次上网日期，不代表论文的发表时间）

页数：共7页

页码：236-242