面向大型数据集的高效决策树参数剪枝算法

摘要：

决策树在数据分类上具有较好的效果,但容易产生过拟合的现象,解决方案是对决策树进行剪枝处理,然而传统剪枝算法普遍存在预剪枝容易欠拟合、后剪枝时间消耗多、网络搜索剪枝仅适用于小型数据集等问题.为了解决以上问题,提出一种高效的决策树参数剪枝算法.根据网络安全态势感知模型,建立剪枝决策树态势感知系统架构,分析网络数据流.在生成决策树的过程中,利用枚举与二分搜索算法找出决策树最大深度,采用深度优先搜索算法找到节点最小分裂数和最大特征数,最终结合这3个最优参数自上而下完成剪枝.实验结果表明,所提算法在大型数据集上的过拟合风险较小,训练集与测试集准确率都在95%以上,同时相比于后剪枝算法中表现较好的悲观错误剪枝算法快了近20倍.

关键词：决策树、剪枝、过拟合、安全态势感知、泛化性

所属期刊栏目：50

分类号：TP313.13(计算技术、计算机技术)

资助基金：山东省自然科学基金面上项目ZR2020MF048

在线出版日期：2024-01-19（万方平台首次上网日期，不代表论文的发表时间）

页数：共10页

页码：156-165