基于WebMagic爬取技术的电力事故信息获取

摘要：

当前国民经济正处于迅猛发展的大好时期,也是电力工业体制改革的关键时期,对电力的需求十分紧迫,所以,电力系统的安全稳定运行及人员的安全管理日益成为影响电力工业发展的关键要素.近年来,各类电力事故依旧时有发生,全面调查事故发生原因是非常必要的,因此,进行事故信息的收集、管理和分析成为关键的一步.采用传统的方式,人工使用搜索引擎搜索信息,费时费力,而随着互联网技术的不断发展,网络爬虫技术已日渐成熟,应用网络爬虫技术可以快速获取这类事故信息.文中主要应用WebMagic爬虫技术,利用XPath和正则表达式指定信息的抽取规则,从电力安全管理网上抓取有关于电力事故信息的新闻,匹配符合要求的事故描述信息,下载到本地并实现数据存储进数据库,为之后进行事故信息分析提供数据基础.实验结果显示,该技术能够准确、迅速地获取数据,且爬虫程序简单易维护.

关键词：电力事故、网络爬虫、WebMagic、数据抓取

所属期刊栏目：29

分类号：TP39(计算技术、计算机技术)

资助基金：中央高校基本科研业务费专项资金2018ZD06

在线出版日期：2019-06-25（万方平台首次上网日期，不代表论文的发表时间）

页数：共5页

页码：125-129