基于WebDriver技术的定向网络爬虫研究
近年来,随着互联网与通信技术的迅猛发展,数据的快速增长成了许多行业共同面对的严峻挑战和宝贵机遇,各种开发网站技术也呈现出层出不穷的趋势,异步加载技术因此得到了广泛的应用.如何高效完整的获取异步加载数据显得极为重要.以车型CCC证书网站为研究对象,采用WebDriver模拟网页浏览技术请求网站,能够对验证码进行识别,绕过爬虫检测,获取到同Ajax异步加载技术相同的数据.
WebDriver、定向爬虫、CCC证书网站
16
TP311(计算技术、计算机技术)
2020-03-28(万方平台首次上网日期,不代表论文的发表时间)
共3页
34-36