基于网络爬虫技术的大数据采集系统设计

摘要：

受到网络中的冗余数据干扰,采集系统采集到的信息混杂,导致数据采集速度过慢,文中针对该问题,设计一种基于网络爬虫技术的大数据采集系统.硬件部分设计了多通道数据采集板,使用双级联锁相环结构控制采集板硬件,设计硬件连接电路,并安置硬件连接线路.软件部分利用网络爬虫技术设定数据采集规则,提取融合采集数据并筛选,根据不同采集数据信息间的二元互信息,定义信息数据相关量,对采集到的大数据信息进行排序,最终完成对大数据采集系统的设计.文中选用已知参数的PC机,搭建实验环境,并采用两种传统大数据采集系统与文中设计的大数据采集系统进行实验,结果表明,文中设计的大数据采集系统数据采集速度最快.

关键词：大数据采集;网络爬虫技术;数据采集板;硬件连接;软件设计;仿真实验

所属期刊栏目：44

分类号：TN919⁃34;TU83

资助基金：四川省自然科学基金项目;四川省教育厅人文社科重点项目;四川省教育厅自然科学一般项目

在线出版日期：2021-08-23（万方平台首次上网日期，不代表论文的发表时间）

页数：共5页

页码：115-119