基于Hadoop平台的海量文本分类的并行化

摘要：

文本分类是信息检索与数据挖掘的研究热点与核心技术,近年来得到了广泛的关注和快速的发展.近来年随着文本数据呈指数增长,要有效地管理这些数据,就必须在分布式环境下用有效的算法来处理这些数据.在Ha-doop分布式平台下实现了一简单有效的文本分类算法——TFIDF分类算法,即一种基于向量空间模型的分类算法,它用余弦相似度得到分类结果.在两个数据集上做了实验,结果表明,这一并行化算法在大数据集上很有效并可以在实际领域中得到良好的应用.

关键词：文本分类、并行化、海量数据、Hadoop

所属期刊栏目：38

分类号：N532(论文集)

资助基金：国家自然科学基金项目61035003,60875011;科技部国际科技合作计划项目2010DFA11030;江苏省自然科学基金项目BK2010054

在线出版日期：2012-02-21（万方平台首次上网日期，不代表论文的发表时间）

页数：共5页

页码：184-188