基于Hadoop的动态网络异常节点智能检测方法

摘要：

针对网络流量的急剧增加,导致网络集群中存在异常节点,降低了网络的运行效率等问题,提出基于Hadoop的动态网络异常节点智能检测方法.对Hadoop的生态体系结构进行分析,并详细描述了 HDFS、MapReduce和NetBASS框架.采用Zipf排名分布对网络节点总流量进行统计,通过标准差系数对节点参数的稳定性和离异程度进行评价.为了使聚类效果更加稳定,使用新的均衡化函数作为数据的收敛函数.将异常节点检测分为节点检测和异常点定位两部分进行,诊断系统通过对Hadoop运行日志的实时检测来计算逻辑,系统通过作业中节点的表现情况,结合性能指标分析出该节点异常的原因,同时将map与reduce任务一起考虑的方法降低节点的耦合性.实验结果表明,通过在运行负载前和运行负载时故障的引人测试,验证了所提方法不仅能够准确的检测出异常点,而且有效性得到显著提高.

关键词：生态体系、排名分布、均衡化函数、异常节点、运行日志

所属期刊栏目：39

分类号：TP18(自动化基础理论)

资助基金：江苏省现代教育技术研究智慧校园专项课题2020-R-84271

在线出版日期：2023-01-07（万方平台首次上网日期，不代表论文的发表时间）

页数：共5页

页码：402-405,462