基于爬虫的数据监控系统

摘要：

近年来,随着互联网技术的快速发展,云计算服务开始全面普及,大型互联网公司以及中小型企业已经开始提供自己的云计算服务,中国科学院也提供了云计算服务平台——中科院“科技云”.本文针对中国科学院“科技云”项目的实际需求,参考已有商业云监控系统的功能和运行模式,设计并实现了一种基于爬虫的数据监控系统.该系统相比商业云监控系统,支持URL(布尔)类型数据监测的同时,增加了对数值类型、文本类型的监测,更好的支持第三方服务的监测,并实现了服务故障警报,监测数据可视化以及监测数据分布式存储.

关键词：数据监控、网络爬虫、云计算、分布式、可视化

所属期刊栏目：26

分类号：TP3;TN9

资助基金：中国科学院十二五信息化专项《科研信息化应用推进工程》XXH12503

在线出版日期：2017-12-06（万方平台首次上网日期，不代表论文的发表时间）

页数：共8页

页码：53-60