基于Java多线程的智能图片爬虫系统的研究与实现

摘要：

针对在传统的爬虫系统中,按照一定规则自动抓取相关信息时,通常包含大量的无效信息这一问题,提出了一种基于Java多线程的智能图片爬虫系统.该系统以爬取图片为例,利用HttpClient、JSoup、WebMagic框架以及线程池技术,实现了在传统爬虫系统基础上增加图片筛选模块,可以智能爬取有效图片,并且自动过滤重复图片,进一步优化了基于Java多线程的传统爬虫系统.

关键词：网络爬虫、多线程、HttpClient、JSoup、WebMagic

所属期刊栏目：18

分类号：TP18(自动化基础理论)

在线出版日期：2022-09-26（万方平台首次上网日期，不代表论文的发表时间）

页数：共3页

页码：55-57