基于自适应归一化 RBF 网络的Q-V 值函数协同逼近模型
径向基函数网络逼近模型可以有效地解决连续状态空间强化学习问题。然而，强化学习的在线特性决定了 RBF 网络逼近模型会面临“灾难性扰动”，即新样本作用于学习模型后非常容易对先前学习到的输入输出映射关系产生破坏。针对 RBF 网络逼近模型的“灾难性扰动”问题，文中提出了一种基于自适应归一化 RBF（ANRBF）网络的 Q-V 值函数协同逼近模型及对应的协同逼近算法———QV（λ）。该算法对由 RBFs 提取得到的特征向量进行归一化处理，并在线自适应地调整 ANRBF 网络隐藏层节点的个数、中心及宽度，可以有效地提高逼近模型的抗干扰性和灵活性。协同逼近模型中利用 Q 和V 值函数协同塑造 TD 误差，在一定程度上利用了环境模型的先验知识，因此可以有效地提高算法的收敛速度和初始性能。从理论上分析了 QV（λ）算法的收敛性，并对比其他的函数逼近算法，通过实验验证了 QV（λ）算法具有较优的性能。
强化学习、函数逼近、径向基函数、灾难性扰动、协同逼近
TP18(自动化基础理论)
国家自然科学基金61272005，61070223，61103045，61070122，61472262;江苏省自然科学基金BK2012616;吉林大学符号计算与知识工程教育部重点实验室资助项目93K172012K04资助In this paper，we introduced a new function approximation model named collaborative Q-V value function approximation model to solve “catastrophic interference”problem of RBF approximation models．A function approximation algorithm
2015-08-07（万方平台首次上网日期，不代表论文的发表时间）
共11页
1386-1396
