一种基于MapReduce的知识聚类与统计机制

摘要：

网络文献知识库中的海量资源及其分类的粗粒度,导致学习者容易在文献检索和阅读过程出现认知迷航和知识过载问题.该文提出一种基于MapReduce的知识聚类与统计机制:首先,提出基于MapReduce的共现矩阵构建算法MR-CoMatrix;其次,将共现矩阵与相似度系数结合构建相似度矩阵;然后,通过Z Scores对相似度矩阵进行标准化;最后,使用离差平方和法(Ward's method)对相似度矩阵进行聚类,生成树状的知识聚类谱系图;基于聚类结果,提出基于MapReduce的知识文献统计算法MR-Statistics,对每个分类的知识属性进行统计.实验结果表明:将MR-CoMatrix和MR-Statistics方法应用于网络文献知识库进行知识聚类和统计,达到较理想的聚类精度和计算效率,实现了细粒度知识聚类和多维统计,同时减少了时间开销.

关键词：数据挖掘、聚类、知识、共现矩阵、统计、MapReduce

所属期刊栏目：38

分类号：TP311.5(计算技术、计算机技术)

资助基金：国家自然科学基金61202004,61472192;教育部科技发展中心网络时代的科技论文快速共享专项研究2013116;江苏省高校自然科学研究计划14KJB520014The National Natural Science Foundation of China61202004,61472192;The Special Fund for Fast Sharing of Science Paper in Net Era by CSTD2013116;The Natural Science Fund of Higher Education of Jiangsu Province14KJB520014

在线出版日期：2016-04-19（万方平台首次上网日期，不代表论文的发表时间）

页数：共7页

页码：202-208