基于隐马尔科夫模型的spark作业异常分析

摘要：

随着大数据技术的不断发展,数据分析越来越受到人们的关注,Spark作为大规模数据处理的快速通用的计算引擎,由于它的高速性而被各大商家应用于实际生产过程中.本文通过隐马尔科夫模型(HMM),选择在实际生产过程中,在进行海量的数据分析过程中出现的异常进行分析,以实际任务执行时的:内存溢出、垃圾回收异常、序列化异常为指标,根据实际出现异常时的提示,来确定HMM状态空间、确定相应的观测值、计算相关的参数,进而构建针对于Spark作业工作过程中的出现异常时的隐马尔科夫模型,用来揭示引发异常的类型,来对实际生产过程中出现此类问题时提供可靠的类型诊断.

关键词：spark、隐马尔科夫模型、内存溢出、异常、内存管理

所属期刊栏目：14

分类号：TP31(计算技术、计算机技术)

在线出版日期：2018-06-19（万方平台首次上网日期，不代表论文的发表时间）

页数：共3页

页码：198-200