A3C深度强化学习模型压缩及知识抽取

摘要：

异步优势演员评论家(asynchronous advantage actor-critic,A3C)构建一主多从异步并行深度强化学习框架,其在最优策略探索中存在求解高方差问题,使主智能体难以保证全局最优参数更新及最佳策略学习.同时,利用百万计算资源构建的大规模并行网络,难以部署低功耗近端平台.针对上述问题,提出紧凑异步优势演员评论家(Compact_A3C)模型,实现模型压缩及知识抽取.该模型冻结并评价A3C框架中所有子智能体学习效果,将评价结果转化为主智能体更新概率,保证全局最优策略获取,提升大规模网络资源利用率.进一步,模型将优化主智能体作为"教师网络",监督小规模"学生网络"前期探索与策略引导,并构建线性衰减损失函数鼓励"学生网络"对复杂环境自由探索,强化自主学习能力,实现大规模A3C模型知识抽取及网络压缩.建立不同压缩比"学生网络",在流行Gym Classic Control与Atari 2600环境中达到了与大规模"教师网络"一致的学习效果.模型代码公布在https://github.com/meadewaking/Compact_A3C.

关键词：强化学习、深度强化学习、演员评论家模型、异步优势演员评论家模型、模型压缩

所属期刊栏目：60

分类号：TP18(自动化基础理论)

资助基金：国家自然科学基金;国家自然科学基金;大连市科技创新基金项目;大连市重点实验室专项

在线出版日期：2023-06-12（万方平台首次上网日期，不代表论文的发表时间）

页数：共12页

页码：1373-1384