异构平台下卷积神经网络推理模型自适应划分和调度方法

摘要：

针对卷积神经网络(CNN)在异构平台执行推理时存在硬件资源利用率低、延迟高等问题,提出一种CNN推理模型自适应划分和调度方法.首先,通过遍历计算图提取CNN的关键算子完成模型的自适应划分,增强调度策略灵活性;然后,基于性能实测与关键路径-贪婪搜索算法,在CPU-GPU异构平台上根据子模型运行特征选取最优运行负载,提高子模型推理速度;最后利用张量虚拟机(TVM)中跨设备调度机制,配置子模型的依赖关系与运行负载,实现模型推理的自适应调度,降低设备间通信延迟.实验结果表明,与TVM算子优化方法在GPU和CPU上的推理速度相比,所提方法在模型推理准确度无损前提下,推理速度提升了5.88%～19.05%和45.45%～311.46%.

关键词：张量虚拟机、卷积神经网络、模型划分、任务调度、特征分析

所属期刊栏目：43

分类号：TP302.1(计算技术、计算机技术)

在线出版日期：2023-10-09（万方平台首次上网日期，不代表论文的发表时间）

页数：共8页

页码：2828-2835