基于遗传算法与随机森林的XGBoost改进方法研究

摘要：

回归预测是机器学习中重要的研究方向之一,有着广阔的应用领域.为了进一步提升回归预测的精度,提出了基于遗传算法与随机森林的XGBoost改进方法(GA_XGBoost_RF).首先利用遗传算法(Genetic Algorithm,GA)良好的搜索能力和灵活性,以交叉验证平均得分为目标函数值,对XGBoost算法和随机森林算法(Random Forest,RF)的参数进行调优,选出较好的参数集,分别建立GA_XGBoost和GA_RF模型.然后对GA_XGBoost和GA_RF进行变权组合,利用训练集的预测值与真实值的均方误差为目标函数,使用遗传算法确定模型的权重.在UCI数据集上进行了实验,结果表明,与XGBoost,Random Forest,GA_XGBoost,GA_RF算法相比,在大部分数据集上GA_XGBoost_RF方法的均方误差、绝对误差和拟合度均优于单一模型,其中在拟合度方面所提方法在不同数据集上提高了约0.01％～2.1％,是一种有效的回归预测方法.

关键词：回归预测、XGBoost、组合预测、随机森林、遗传算法

所属期刊栏目：47

分类号：TP181(自动化基础理论)

资助基金：大数据驱动下流域水库群联合防洪调度研究2019GSF111043

在线出版日期：2020-12-03（万方平台首次上网日期，不代表论文的发表时间）

页数：共6页

页码：454-458,463