面向机器学习的分布式并行计算关键技术及应用

摘要：

当前机器学习等算法的计算、迭代过程日趋复杂,充足的算力是保障人工智能应用落地效果的关键.本文首先提出一种适应倾斜数据的分布式异构环境下的任务时空调度算法,有效提升机器学习模型训练等任务的平均效率;其次,提出分布式异构环境下高效的资源管理系统与节能调度算法,实现分布式异构环境下基于动态预测的跨域计算资源迁移及电压/频率的动态调节,节省了系统的整体能耗;然后构建了适应于机器学习/深度学习算法迭代的分布式异构优化环境,提出了面向机器学习/图迭代算法的分布式并行优化基本方法.最后,本文研发了面向领域应用的智能分析系统,并在制造、交通、教育、医疗等领域推广应用,解决了在高效数据采集、存储、清洗、融合与智能分析等过程中普遍存在的性能瓶颈问题.

关键词：机器学习;分布式计算;倾斜数据;任务时空调度;资源管理;节能调度;跨域资源迁移;并行优化;图迭代算法;智能分析系统

所属期刊栏目：16

分类号：TP18(自动化基础理论)

资助基金：国家重点研发计划项目;国家自然科学基金项目;金融及产业数据驱动下的智慧园区云平台研发及产业化项目;广东省重点领域研发计划项目

在线出版日期：2021-11-25（万方平台首次上网日期，不代表论文的发表时间）

页数：共13页

页码：918-930