基于Nutch的分布式电商数据采集技术研究

摘要：

随着大数据技术的广泛应用和示范效应,企业越来越重视数据的价值挖掘,尤其是结合企业内外部数据进行客户行为、偏好的分析与识别.而电商数据,对一些企业来讲无疑是宝贵的外部数据资源.但电商数据的获取,会受到电商网站的一些反爬技术限制,使其采集变得越来越困难.针对电商领域的数据采集以及在采集电商网站数据过程遇到的数据大,速度慢,访问校验,IP访问限制等问题,结合实际需求,研究、提出一种基于Nutch的分布式电商数据采集方案.

关键词：电商数据、反爬、Nutch、分布式、采集

所属期刊栏目：35

分类号：TP3;G25

在线出版日期：2015-11-30（万方平台首次上网日期，不代表论文的发表时间）

页数：共6页

页码：2-6,15