一种Spark GraphX框架下的关键词抽取方法

摘要：

TextRank算法根据文本词语的位置关系构造图,应用图排序的算法计算出词语的权重,在计算过程中需要进行大量的迭代运算,在数据规模较大的时候,计算时间尤为可观.针对此问题,提出了一种基于Spark GraphX的关键词抽取方法,利用Spark GarpX所提供的分布式计算的图框架,将文本图数据分布式存储在不同的节点上,高效地实现了文本关键词的抽取.实验表明,本文中提出的基于Spark GraphX的关键词抽取方法,不仅计算时间短,抽取的关键词与人工标注的结果非常接近,具有一定的合理性.

关键词：Spark GraphX、关键词提取、图排序、词语权重

所属期刊栏目：40

分类号：TP391(计算技术、计算机技术)

资助基金：河南省科技厅科技攻关项目 172102210594 资助;河南省高等学校重点科研项目 17A520066 资助

在线出版日期：2019-05-31（万方平台首次上网日期，不代表论文的发表时间）

页数：共4页

页码：328-331