一类基于谱方法的强化学习混合迁移算法
在状态空间比例放大的迁移任务中,原型值函数方法只能有效迁移较小特征值对应的基函数,用于目标任务的值函数逼近时会使部分状态的值函数出现错误.针对该问题,利用拉普拉斯特征映射能保持状态空间局部拓扑结构不变的特点,对基于谱图理论的层次分解技术进行了改进,提出一种基函数与子任务最优策略相结合的混合迁移方法.首先,在源任务中利用谱方法求取基函数,再采用线性插值技术将其扩展为目标任务的基函数;然后,用插值得到的次级基函数(目标任务的近似Fiedler特征向量)实现任务分解,并借助改进的层次分解技术求取相关子任务的最优策略;最后,将扩展的基函数和获取的子任务策略一起用于目标任务学习中.所提的混合迁移方法可直接确定目标任务部分状态空间的最优策略,减少了值函数逼近所需的最少基函数数目,降低了策略迭代次数,适用于状态空间比例放大且具有层次结构的迁移任务.格子世界的仿真结果验证了新方法的有效性.
强化学习、迁移学习、谱图理论、原型值函数、层次分解
38
国家自然科学基金60974050,61072094,61273143;中国矿业大学青年科技基金OC080252;教育部新世纪优秀人才支持计划NCET-08-0836,NCET-10-0765;教育部高等学校博士学科点专项科研基金20110095110016
2013-01-22（万方平台首次上网日期，不代表论文的发表时间）
共12页
1765-1776
