基于概念分析的主题爬虫设计

摘要：

研究改进主题爬虫设计的方法,用高效的主题爬虫取代传统搜索引擎中的普通爬虫,以更高的精度完成定向信息采集.在成功实现基于关键词的主题爬虫的基础上,提出了基于概念的主题相关度分析算法,给出了基于概念分析的主题爬虫的实现方案.比较两种主题爬虫工作的实验结果,显示爬虫的性能得到了提高,论证了该设计的可行性与可操作性,为实现准确的定向信息采集奠定了良好的基础.

关键词：搜索引擎、主题爬虫、概念分析、相关度、信息采集

所属期刊栏目：24

分类号：TP393(计算技术、计算机技术)

资助基金：扬州万方电子技术有限责任公司资助项目2003.08

在线出版日期：2004-12-16（万方平台首次上网日期，不代表论文的发表时间）

页数：共4页

页码：890-893