基于袋外预测和扩展空间的随机森林改进算法

摘要：

随机森林在bootstrap的基础上通过对特征进行抽样构建决策树,以牺牲决策树准确性的方式来降低决策树间的相关性,从而提高预测的准确性.但在数据规模较大时,决策树间的相关性仍然较高,导致随机森林的性能表现不佳.为解决该问题,提出一种基于袋外预测的改进算法,通过提高决策树的准确性来提升随机森林的预测性能.将随机森林的袋外预测与原特征相结合并重新训练随机森林,以有效降低决策树的VC-dimension、经验风险、泛化风险并提高其准确性,最终提升随机森林的预测性能.然而,决策树准确性的提高会使决策树间的预测趋于相近,提升了决策树间的相关性从而影响随机森林最终的预测表现,为此,通过扩展空间算法为不同决策树生成不同的特征,从而降低决策树间的相关性而不显著降低决策树的准确性.实验结果表明,该算法在32个数据集上的平均准确率相对原始随机森林提高1.7％,在校正的paired t-test上,该方法在其中19个数据集上的预测性能显著优于原始随机森林.

关键词：随机森林;袋外预测;扩展空间;相关性;决策树

所属期刊栏目：48

分类号：TP181(自动化基础理论)

资助基金：国家自然科学基金61672161

在线出版日期：2022-03-22（万方平台首次上网日期，不代表论文的发表时间）

页数：共9页

页码：1-9