基于扩散方法的分布式随机变分推断算法
分布式网络上的聚类、估计或推断具有广泛的应用,因此引起了许多关注.针对己有的分布式变分贝叶斯(Vari-ational Bayesian,VB)算法效率低,可扩展性差的问题,本文借用扩散方法提出了一种新的分布式随机变分推断(Stochastic variational inference,SVI)算法,其中我们选择自然梯度法进行参数本地更新并选择对称双随机矩阵作为节点间参数融合的系数矩阵.此外,我们还为所提出的分布式SVI算法提出了一种对异步网络的适应机制.最后,我们在伯努利混合模型(Bernoulli mixture model,BMM)和隐含狄利克雷分布(Latent Dirichlet allocation,LDA)模型上测试所提出的分布式SVI算法的可行性.实验结果显示其在许多方面的性能优于集中式SVI算法.
分布式算法、随机变分推断、扩散方法、异步网络、主题模型
47
国家自然科学基金;霍英东教育基金会高等院校青年教师基金
2021-03-12（万方平台首次上网日期，不代表论文的发表时间）
共8页
92-99
