爬虫系统中标签删除功能的设计及优化

摘要：

在用爬虫爬取到大型商品网站的大规模网页数据集后,要将网页数据集作进一步筛选以得到目标数据集,筛选之前要做的一项准备工作就是删除网页中多余的标签.为此,用递归算法的思想给出了标签删除的算法,提出了标签删除功能的软件设计思想,对设计进行了2次设计改进及性能优化,最终采用了1个缓冲区维系线程1个标签删除线程的双线程设计思想.实验表明,优化后的标签删除功能在单机上每1000个网页的平均处理时间只需19.7 s,处理20万个网页只需1.1小时.

关键词：标签删除功能、递归算法、双线程设计、性能实验

所属期刊栏目：28

资助基金：湖南省自然科学基金2017JJ5064

在线出版日期：2019-03-12（万方平台首次上网日期，不代表论文的发表时间）

页数：共6页

页码：176-181