网络爬虫在Web信息搜索与数据挖掘中应用

摘要：

分析了万维网不良网络信息对网络文化安全带来的挑战,提出了Web信息搜索与数据挖掘体系结构,并介绍了该体系结构中的关键技术和运行原理.分析了普通爬虫所实现的功能和不足之后,重点论述了该爬虫的工作原理、实现方式和性能分析以及该爬虫不同于其它爬虫的功能和在Web信息搜索与数据挖掘体系中应用.通过试验测试表明,该爬虫能够很好地获取万维网上的各种信息资源,有助于网络文化内容监测与管理.

关键词：Web搜索、Web挖掘、网络爬虫、体系结构、应用

所属期刊栏目：30

分类号：TP311(计算技术、计算机技术)

资助基金："十一五"国家科技支撑计划重点基金项目2006BAK11B01

在线出版日期：2010-03-15（万方平台首次上网日期，不代表论文的发表时间）

页数：共5页

页码：5658-5662