RS-BART:一种提升贝叶斯可加回归树预测性能的新方法

摘要：

在有监督学习的任务中,任何方法的主要目标是对未来数据进行准确的预测.作为梯度boosting算法的贝叶斯版本,贝叶斯可加回归树(Bayesian additive regression trees,BART)模型在此方面具有巨大潜力.但是,BART得到的关注远远低于随机森林和梯度boosting算法.为扩展BART的应用范围,文中首先对BART模型作了较为详尽的综述.考虑到BART在高维情况下会出现过拟合,本文提出了RS-BART方法以提高其预测性能.RS-BART首先对所有预测变量根据其相对重要性排序,然后使用重要性度量训练一些低维或中等维度的BART模型,将其预测结果平均或投票来得到最终的预测结果.基于模拟和实际数据的试验结果表明,与一些最先进的方法(如随机森林、boosting和BART)相比,RS-BART具有更好或基本相当的预测性能.因此,RS-BART可以作为用于解决实际应用中高维且稀疏预测任务的一种有效工具.

关键词：集成学习、贝叶斯可加回归树、预测精度、随机森林、Gibbs采样

所属期刊栏目：36

分类号：O212.8;TP181(概率论与数理统计)

在线出版日期：2019-08-05（万方平台首次上网日期，不代表论文的发表时间）

页数：共17页

页码：461-477