垂直搜索引擎系统的研究与实现

摘要：

给出了垂直搜索引擎的体系结构,然后分别设计了垂直搜索引擎的三大核心模块:主题词库、网络机器人和中文分词.在主题词库模块中设计了一个分层的主题词库系统,该词库将颗粒大的主题词置于词库高层,而将颗粒小的主题词置于词库低层,既考虑了主题搜索的广度,也考虑了主题搜索的精度.而在网络机器人设计过程中则综合运用了多线程及基于VSM的主题相关度判断算法进行主题网页爬行,在中文分词设计中则采用最大正向匹配算法完成中文分词.实验表明,多线程是提高网络机器人爬行速度的关键.此外,搜索引擎的准确率达到了63%.

关键词：垂直搜索引擎、网络机器人、主题相关度、哈希表、向量空间模型、Lucene

所属期刊栏目：28

分类号：TP391(计算技术、计算机技术)

资助基金：江西省教育厅基金项目资助"分布式网络机器人的软件研究"赣教技字[2006]177号;华东交通大学校立基金资助"基于SOA架构的垂直搜索引擎的研究与实现"08xx05

在线出版日期：2009-12-11（万方平台首次上网日期，不代表论文的发表时间）

页数：共5页

页码：144-147,169