大规模数据的随机森林算法

摘要：

信息技术的高速发展提升了人们生产、收集数据的能力,越来越多的数据呈现出海量化、高维化的特征.这类大规模数据的出现给统计分析带来计算效率方面的挑战.为有效解决计算效率较低的问题,研究者结合"分治"思想提出了一种分析框架,并以随机森林算法为例内嵌其中得到大规模随机森林算法(BLOCK-SDB-RF).研究者从数据覆盖率及时间复杂度两方面对该算法的优势进行分析,同时通过数值模拟探究了BLOCK-SDB-RF算法的应用效果.数值模拟结果显示:1.随着数据样本量、特征维度的增加,该算法在计算效率上的优势愈发明显;2.尽管变量间的相关性对该算法的计算效率影响并不明显,但随着相关性的增加,研究者需要牺牲一部分预测精度.在实证分析中,研究者以音乐流媒体服务商KKBOX提供的日志数据为例,进一步讨论了BLOCK-SDB-RF算法在大规模高维实际数据分析中的作用.

关键词：大数据、计算效率、随机森林、分布式计算

所属期刊栏目：35

分类号：O212(概率论与数理统计)

资助基金：中国人民大学科学研究基金中央高校基本科研业务费专项资金研究品牌项目"生物医学大数据的统计方法基础研究"15XNI011

在线出版日期：2020-06-28（万方平台首次上网日期，不代表论文的发表时间）

页数：共10页

页码：24-33