基于Hadoop的校园网视频流量访问偏好分析

摘要：

针对传统视频用户访问日志的偏好分析方法存在数据客观性差和用户关联分析困难等问题，在传统偏好分析方法的基础上，面向互联网数据原始流量，提出一种基于主流大数据平台技术Hadoop的校园网视频用户访问偏好分析方案。该方案利用网络爬虫和深度包检测技术，对视频访问内容进行精细化识别，进而研究了校园网视频流量的访问偏好，并对比了MySQL和Hive的查询效率。结果表明，文化层次的差异导致了视频用户群体的不同需求，低成本硬件环境下对大数据的处理Hive更显健壮性。另外，该方案能稳定可靠地实现对校园网视频流量访问的偏好分析，捕捉用户网络舆情，制订定向营销方案并提供个性化视频推荐服务。经现网测试验证，设计的视频访问偏好分析方案达到了预期的效果。

关键词：校园网视频、偏好分析、Hadoop、网络爬虫、深度包检测

所属期刊栏目：28

分类号：TP391;TN929.5(计算技术、计算机技术)

资助基金：重庆市应用开发计划资助项目cstc2013yykfA40006；2013重庆高校创新团队建设计划KJTD201312Foundation ItemsThe Application Development Foundation Project of Chongqing cstc2013yykfA40006；The Innovation Teams Building Program of Chongqing Universities in 2013KJTD201312

在线出版日期：2017-01-11（万方平台首次上网日期，不代表论文的发表时间）

页数：共6页

页码：897-902