基于图卷积网络的卷积神经网络耗时预测算法

摘要：

通过可学习的预测算法获取卷积神经网络(CNN)在硬件上的推理耗时越来越受到研究者的关注.现有耗时预测算法主要面临2个问题:卷积神经网络设计空间采样复杂度高,数据采集成本高;无法准确预测硬件编译器的算子融合技术对推理耗时的影响.为了解决上述问题,提出了一种基于图卷积网络(GCN)的耗时预测算法,将整体网络耗时看作多节点耗时补偿的累加,并利用图卷积对结构算子融合产生的耗时影响进行建模.同时,提出一种新型差分训练方案,减少采样空间规模,提高算法的泛化能力.在HISI3559硬件平台上对MB-C连续空间采样模型的耗时预测实验表明:所提算法可将耗时估计的平均相对误差从传统算法的302％降低到5.3％.另外,通过将传统耗时预测算法替换成所提算法进行耗时评估,可以使网络结构搜索算法搜索到耗时更加接近目标的高精度网络.

关键词：耗时预测、图卷积网络、深度学习、网络结构搜索、模型部署

所属期刊栏目：48

分类号：TP391.4;V247.1(计算技术、计算机技术)

资助基金：国家重点研发计划2018YFC0807706

在线出版日期：2023-01-05（万方平台首次上网日期，不代表论文的发表时间）

页数：共10页

页码：2450-2459