基于浏览器测试组件的社交网络数据获取技术研究

摘要：

社交网络数据获取是社交网络分析重要的前提条件.当前各大社交网络平台对于第三方爬虫的屏蔽措施日益复杂,传统的数据获取手段受到严峻的挑战.文章提出了一种基于浏览器测试组件的社交网络数据获取技术,通过模拟正常用户的行为以规避社交网络对于传统网络爬虫的限制,实现目标数据的高效获取.该系统分别获取了QQ群即时聊天信息和非即时资料信息.对于即时聊天信息获取,经过实验测试和结果对比,发现即时信息采集的采全率达99%以上,准确率达100%.对于非即时资料,分别获取了群公告、群成员列表、群共享文件和共享相册等数据,通过数据抽样对比,采全率和准确率均达到100%.实验证明基于浏览器测试组件的社交网络数据获取技术有其一定的数据获取优势.

关键词：社交网络、数据获取、用户行为模拟、浏览器测试组件

分类号：TP309(计算技术、计算机技术)

资助基金：中国科学院战略先导专项XDA06030200;国家科技支撑计划2012BAH46B03

在线出版日期：2015-08-07（万方平台首次上网日期，不代表论文的发表时间）

页数：共6页

页码：56-61