10.3969/j.issn.1000-1220.2019.02.016
一种Spark GraphX框架下的关键词抽取方法
TextRank算法根据文本词语的位置关系构造图,应用图排序的算法计算出词语的权重,在计算过程中需要进行大量的迭代运算,在数据规模较大的时候,计算时间尤为可观.针对此问题,提出了一种基于Spark GraphX的关键词抽取方法,利用Spark GarpX所提供的分布式计算的图框架,将文本图数据分布式存储在不同的节点上,高效地实现了文本关键词的抽取.实验表明,本文中提出的基于Spark GraphX的关键词抽取方法,不仅计算时间短,抽取的关键词与人工标注的结果非常接近,具有一定的合理性.
Spark GraphX、关键词提取、图排序、词语权重
40
TP391(计算技术、计算机技术)
河南省科技厅科技攻关项目 172102210594 资助;河南省高等学校重点科研项目 17A520066 资助
2019-05-31(万方平台首次上网日期,不代表论文的发表时间)
共4页
328-331