基于窗口队列的信道信息增量智能爬取仿真

摘要：

针对现有信息增量爬取方法存在的爬取收获率较低的问题,提出了一种基于窗口队列的信道信息增量智能爬取方法,由于计算机网络信号通常会受到外界环境因素的影响,所以为了防止这种情况的出现,首先需要利用小波变换的方式去除信道中的噪声,然后通过判定信道信息增量相关度的方式计算主题相关性,将语义相似度计算加入到信息增量相关度的计算当中,考虑子节点相关度的情况对当前增量的相关度做加权处理,根据加权得分对信道信息增量进行排序和更新,保证了抓取时网络爬虫的爬行路线能够维持在高相关度的信息增量中,避免抓取无效信息,有助于爬虫穿越隧道,实现信道信息增量智能爬取.实验结果证明,所提方法可以在高收获率、高召回率的情况下完成对信道信息增量的智能爬取,且增量爬取的用时非常短.

关键词：窗口队列、信道信息增量、爬取

所属期刊栏目：36

分类号：TP301(计算技术、计算机技术)

在线出版日期：2019-12-31（万方平台首次上网日期，不代表论文的发表时间）

页数：共5页

页码：190-194