一种基于Hadoop的动态树增量更新方法

摘要：

为适应真实环境中数据量大、流程复杂、计算密集的数据挖掘需求，提高传统树增量更新挖掘效率，改变已有算法的串行执行方式，提出一种基于Hadoop的动态树增量更新方法。介绍云计算、模型与执行流程等基本概念，针对现有Hadoop平台中任务调度的随机分配策略，设计一种动态云平台中的资源调度与分配算法，以期达到成本消耗的最小化，给出树增量更新挖掘算法以及2个并行算法(DeleteFreqTree和 FindNewTree)，完成树数据的增量挖掘工作。实验结果表明，该并行算法有效可行，具有高效性与良好的扩展率，能够对海量树数据进行更新挖掘。

关键词：数据挖掘、数据库、云计算、并发控制、频繁子树、增量更新

分类号：TP311.12(计算技术、计算机技术)

资助基金：湖南省工业支撑计划基金资助项目2012GK2006；湖南省教育厅科学研究基金资助项目12C0291。

在线出版日期：2014-04-15（万方平台首次上网日期，不代表论文的发表时间）

页数：共5页

页码：67-70,92