基于网页空间进化算法的暴雨灾害主题爬虫策略

摘要：

针对单目标优化算法求解爬虫问题时难以获得最优加权因子和易于陷入局部最优的缺点, 将多目标优化算法引入主题爬虫, 提出一种基于多目标优化的网页空间进化算法.通过计算测试链接与种子链接库中链接的最短距离, 将其与种子链接库中所有链接间的平均距离进行比较来更新种子链接库.针对多目标优化中Pareto最优解的选取问题, 给出一种最近最远候选解法.实验结果表明, 与宽度优先搜索等算法相比, 该算法具有较高的爬准率和稳定性.

关键词：多目标优化、主题爬虫、网页空间进化算法、Pareto最优、暴雨灾害

所属期刊栏目：45

分类号：TP399(计算技术、计算机技术)

资助基金：国家自然科学基金61373016;国家社会科学基金重大招标项目16ZDA047;江苏省自然科学基金BK20171458, BK20181409

在线出版日期：2019-05-31（万方平台首次上网日期，不代表论文的发表时间）

页数：共7页

页码：184-190