自适应遗传算法在主题爬虫搜索策略中的应用研究

摘要：

如何提高爬虫覆盖率和准确率是主题爬虫的研究热点之一.目前大多采用最佳优先搜索策略,针对该类主题爬虫易陷入局部最优的不足,设计结合遗传算法的主题爬虫搜索策略,并设计动态适应度函数和遗传算子使得爬虫具有一定的自适应性.与其他搜索策略以及结合非自适应遗传算法的搜索策略进行了比较,结果表明该算法能够在一定程度上提高爬虫性能.

关键词：主题爬虫、重要度、遗传算法、遗传算子、适应度函数

所属期刊栏目：43

分类号：TP301.6(计算技术、计算机技术)

资助基金：国家自然科学基于超图形XGML的图像半结构化研究61271369

在线出版日期：2016-10-08（万方平台首次上网日期，不代表论文的发表时间）

页数：共4页

页码：254-257