基于Java多线程的智能图片爬虫系统的研究与实现
针对在传统的爬虫系统中,按照一定规则自动抓取相关信息时,通常包含大量的无效信息这一问题,提出了一种基于Java多线程的智能图片爬虫系统.该系统以爬取图片为例,利用HttpClient、JSoup、WebMagic框架以及线程池技术,实现了在传统爬虫系统基础上增加图片筛选模块,可以智能爬取有效图片,并且自动过滤重复图片,进一步优化了基于Java多线程的传统爬虫系统.
网络爬虫、多线程、HttpClient、JSoup、WebMagic
18
TP18(自动化基础理论)
2022-09-26(万方平台首次上网日期,不代表论文的发表时间)
共3页
55-57