基于MapReduce框架一种文本挖掘算法的设计与实现

摘要：

随着文本挖掘在主动信息服务中应用的日益扩展,在文本数据的基础上分析数据的内在特征已经成为目前的研究趋势,本文在Hadoop平台上设计并实现了一种文本挖掘算法,该算法利用MapReduce框架按照自然语料中相邻词组出现的频数进行降序输出,从而有助于用户挖掘大量数据中各项集之间的联系,实验结果体现了该算法的有效性和良好的加速比.

关键词：Hadoop、MapReduce、相邻词组、降序输出

所属期刊栏目：33

分类号：TP391(计算技术、计算机技术)

资助基金：国家自然科学基金资助项目60970060;天津市教委资助项目20071328;天津市科技支撑计划重点项目09ZCKFGX00500;天津师大博士基金项目52LX17

在线出版日期：2012-12-24（万方平台首次上网日期，不代表论文的发表时间）

页数：共4页

页码：110-113