基于双重并行计算模型的TFIDF算法

摘要：

针对大数据集下文本分类算法在单机上实现效率低下的问题，提出基于 GPU (graphic processing unit)和MapReduce技术的双重并行计算的云计算框架。通过构造双重并行计算的自适应计算过程，结合 TFIDF (term frequency inverse document frequency)改进算法的特点，实现基于双重并行自适应计算模型的改进 TFIDF算法。实验中，在不同的运行环境下对改进TFIDF 算法的运行效率进行对比分析，比较不同计算节点下算法的执行效率，实验结果表明，改进TFIDF算法可实现对海量数据的高速有效处理，随着节点数量的增加，双重并行自适应计算下，算法执行效率更加高效。

关键词：TFIDF改进算法、MapReduce模型、图形处理器、并行计算、自适应

所属期刊栏目：37

分类号：TP31(计算技术、计算机技术)

在线出版日期：2016-11-30（万方平台首次上网日期，不代表论文的发表时间）

页数：共6页

页码：3016-3021