基于Tensorflow对卷积神经网络的优化研究

摘要：

针对卷积神经网络在性耗比上的不足,提出了异构式CPU+GPU的协同计算模型,在模型计算过程中使CPU负责逻辑性强的事物处理和串行计算,使GPU执行高度线程化的并行处理任务.通过实验测试与单GPU训练、单CPU训练进行对比,结果表明异构式CPU+GPU计算模型在性耗比上更加优异.针对在卷积神经网络中Swish激活函数在反向传播求导误差梯度时涉及参数较多所导致的计算量较大,收敛速度慢,以及ReLU激活函数在x负区间内导数为零所导致的负梯度被置为零且神经元可能无法被激活的问题,提出了新的激活函数ReLU-Swish.通过测试训练对比并分析结果,将Swish激活函数小于零与ReLU激活函数大于零的部分组成分段函数,并且通过CIFAR-10和MNIST两个数据集进行测试对比实验.实验结果表明,ReLU-Swish激活函数在收敛速度以及模型测试训练的准确率上对比Swish激活函数及ReLU激活函数有较明显的提高.

关键词：Tensorflow、CPU+GPU、卷积神经网络、Swish激活函数、ReLU激活函数、ReLU-Swish激活函数

所属期刊栏目：56

分类号：TP183(自动化基础理论)

资助基金：吉林省教育厅项目;吉林省发改委项目;长春市科技局项目

在线出版日期：2020-01-17（万方平台首次上网日期，不代表论文的发表时间）

页数：共7页

页码：158-164