基于Java的网络爬虫系统研究与设计

摘要：

随着网络技术的不断发展,人们从网络中获取资源信息已经是生活中不可或缺的一部分.如何高效的提取和利用网络资源成为困扰人们的难题,在这样的背景下诞生了爬虫技术.本文利用HttpClient、Jsoup、正则表达式以及Java多线程技术,研究分析了静态网页爬虫和动态网页爬虫的设计过程.最后,实现了静态网页的广泛爬取以及以百度图片、百度文库为例的动态网页特定爬取.

关键词：网络爬虫;Java;HttpClient;Jsoup;多线程爬取

所属期刊栏目：11

分类号：TP393.09(计算技术、计算机技术)

资助基金：国家自然科学基金项目;广西高等教育本科教学改革工程项目

在线出版日期：2021-12-15（万方平台首次上网日期，不代表论文的发表时间）

页数：共5页

页码：74-77,80