基于主题模型的资源选择算法

摘要：

在具有多个真实搜索引擎的联邦检索环境下,基于小文档的资源选择算法由于难以估计每个搜索引擎的真实网页数量,因此准确率较低.针对这个问题,文中提出了基于主题模型的资源库描述方法,利用LDA主体模型获取每个资源库的描述词;在此基础上提出新的资源选择算法,结合垂直领域权重和词向量计算资源库和查询请求之间的相关度,并根据相关度大小获取最终资源选择结果.实验结果表明,基于主题模型的资源选择算法能很好地提高资源选择效果,可有效应用于分布式搜索引擎的联邦检索环境.

关键词：分布式检索、资源选择、主题模型、垂直领域、词向量

所属期刊栏目：45

分类号：TP391(计算技术、计算机技术)

资助基金：广东省自然科学基金重大基础研究培育项目2015A030308017;教育部中国移动科研基金资助项目MCM20150512 Supported by the Significant Fundamental Cultivate Project of Guangdong Province Natural Science Foundation2015A030308017;the Scientific Research Joint Funds of Ministry of Education of China and China MobileMCM20150512

在线出版日期：2017-07-06（万方平台首次上网日期，不代表论文的发表时间）

页数：共6页

页码：48-53