基于Python的专业网络爬虫的设计与实现

摘要：

网络爬虫，又称网页蜘蛛、网络机器人。随着计算机技术的高速发展，互联网中的信息量越来越大，搜索引擎应运而生。传统的搜索引擎会有返回结果不精确等局限性。为了解决传统搜索引擎的局限性，专用型网络爬虫在互联网中越来越常见。同时，专用型网络爬虫具有专用性，可以根据制定的规则和特征，最后只体现和筛选出有用的信息。

关键词：Python、网络爬虫、数据挖掘、搜索引擎

分类号：TP393(计算技术、计算机技术)

资助基金：2015年湖南省科技计划项目项目编号2015GK3024“基于物联网的药品质量安全追溯系统”；湖南工业大学教学改革项目项目编号2013B11“基于移动互联网的网络教学资源建设与成效研究”；湖南省教育厅科学研究项目编号13C036“WEB数据挖掘在网络学习资源推荐系统中的应用研究”。

在线出版日期：2016-11-11（万方平台首次上网日期，不代表论文的发表时间）

页数：共3页

页码：17-19