基于网络爬虫的京东电商平台数据分析

摘要：

以京东平台的网页数据抓取为例,研究如何提高网络爬虫技术对网页数据的抓取效率,进而对抓取到的数据进行数据挖掘和数据分析.该网络爬虫技术主要建立在分布式系统的基础上,多台计算机多线程同时运行,使数据抓取效率显著提高.分析京东平台的网页信息,统一分类,抓取分类下的商品信息,获取到网页内容后,利用解析器重建网页DOM树,通过JQUERY选择器,针对选择不同的标签名称和标识名称获取商品信息,把获取到的数据进行过滤、整合,然后进行数据挖掘和数据分析,对电商行业走势进行预测,进而指导电商运营团队决策.

关键词：电商平台、数据分析、分布式系统、AJAX、MapReduce、Jumony Core

所属期刊栏目：35

分类号：F424;F716;F724.6(中国工业经济)

资助基金：国家社科基金重点项目"新型战略产业的培育机制研究"11AJL008;湖南省社科基金重大项目"战略性新兴产业商业模式创新研究"12ZDA10;国家软科学项目"生产服务业与战略性新兴产业融合互动机制研究"2014GXS4D136;广义虚拟经济研究专项GX2014-1003-Y;湖南省企业管理与投资基地项目16JDZD01

在线出版日期：2018-05-07（万方平台首次上网日期，不代表论文的发表时间）

页数：共9页

页码：77-85