面向多源大数据云端处理的成本最小化方法

摘要：

云计算为大数据处理提供了一种强大而高效的解决方案.在此模式下,数据管理者(data manager,简称DM)可以租用多个数据中心实时处理地理分散的数据.然而,由于数据产生的动态性以及资源价格的波动性,将数据迁移至哪些数据中心并提供合适的计算资源来处理它们,成为DM低成本处理多源数据的一大问题.首先,将以上问题转换成联合随机优化问题;然后,利用李雅普诺夫(Lyapunov)优化框架将原问题分解成两个独立的子问题进行求解;最后,基于求解结果设计在线算法.理论分析结果表明:所提算法可不断趋近线下最优解,并能够保证数据处理时延.在WorldCup98和Youtube数据集上的实验验证了理论分析结果的正确性以及该方法的优越性.

关键词：大数据处理、多数据中心、数据管理、数据迁移、资源供给

所属期刊栏目：28

分类号：TP311(计算技术、计算机技术)

资助基金：国家自然科学基金61572511;海外及港澳学者合作研究基金11428101;国防科学技术大学科研计划ZK16-03-57,ZK16-03-09;西南电子电信技术研究室公开课题2015014National Natural Science Foundation of China61572511;The Overseas,Hong Kong & Macau Scholars Collaborated Research Fund of China11428101;Scientific Research Project of National University of Defense TechnologyZK 16-03-57,ZK16-03-09;The Southwest Electron&Telecom Technology Insitute Open Project2015014

在线出版日期：2017-04-11（万方平台首次上网日期，不代表论文的发表时间）

页数：共19页

页码：544-562