Spark环境下基于子图的异步迭代更新方法

摘要：

全局同步计算模型简单易用,但是路障同步导致收敛速度变慢.以顶点为中心的异步迭代虽然提高了收敛速度,但在计算节点之间需要频繁发送信息.在Spark环境下提出一种基于子图的异步迭代更新方法.在子图之间建立异步消息通信连接后,子图能以异步方式发送数据块;通过多线程同步避免数据读写冲突,保证异步更新时顶点状态的一致性.在大规模样本数据集上分别从收敛结果、收敛速度和通信代价验证方法有效性.实验结果表明,与全局同步迭代相比,该方法有效提高了计算收敛速度.与顶点为中心的异步更新方式相比,该方法在收敛时间上略有增长,但是显著降低了通信开销.

关键词：子图、异步更新、Spark环境、图数据、图切分

所属期刊栏目：56

分类号：TP393(计算技术、计算机技术)

资助基金：国家自然科学基金;湖北省科技厅自然科学基金

在线出版日期：2020-04-09（万方平台首次上网日期，不代表论文的发表时间）

页数：共7页

页码：67-73