科研人员Web数据自动抓取模式及其开源解决方案

摘要：

大数据时代的科研竞争是数据之争,高质量数据的获取往往决定着研究结论的优劣乃至项目的成败.然而对于科研人员的Web数据自动抓取问题,学界目前尚未有系统性研究成果出现.本文对数据抓取的基本模式进行分析,归纳出四类科研人员Web数据抓取的基本模式:单站静态抓取模式、跨站静态抓取模式、单站动态抓取模式及跨站动态抓取模式及其技术难点.本文同时也提出了科研人员Web数据自动抓取技术的两种开源解决方案:基于开源爬虫和自行定制爬虫,最后详细探讨了各方案的软件架构并给出了基本代码框架.

关键词：科研人员、Web数据抓取、技术方案、开源软件

分类号：TP311.5(计算技术、计算机技术)

资助基金：国家自然科学基金项目“基于用户偏好感知的SaaS服务选择优化研究”71271099;湖北省自然科学基金创新群体重点项目“基于云计算的知识集成与服务研究”2011CDA116

在线出版日期：2015-05-26（万方平台首次上网日期，不代表论文的发表时间）

页数：共7页

页码：21-27