基于强化学习的D3 QN拥塞控制算法

摘要：

在大规模机器类通信(Machine Type Communication,MTC)中,短时间内大量的设备涌入LTE-A(Long Term Evolution-Advanced)网络,这些设备同时发起随机接入会引起严重的网络拥塞,需要采取合适的措施对拥塞加以控制.为此,提出了一种基于强化学习的D3QN(Dueling Double Deep Q-network)算法.D3QN以DQN(Deep Q-Network)为基础,使用Double和Dueling两种方法进行改进,并采用优先经验回放对训练数据进行采样,使算法收敛速度更快并且更加稳定.考虑多基站的场景,设备可以对其所在区域内的任一基站发送接入请求.该方案中,使用具有无记忆特性的泊松过程对采用二步的随机接入的MTC设备的到达进行建模,设备通过基站广播的发生冲突的前导码数量,改变强化学习中的奖励,使得MTC设备能够找到拥塞少的基站进行接入,减少可能的前导码冲突.在不同的负载场景中,将所提方案与传统方案以及其他基于强化学习的方案进行了比较,证明了所提方案在解决大规模问题时的实用性和有效性.

关键词：大规模机器类通信、随机接入、强化学习、经验回放、基站选择、深度Q网络

所属期刊栏目：33

分类号：TP181;TN929.5(自动化基础理论)

资助基金：国家自然科学基金;中国科学院重点实验室开放基金

在线出版日期：2023-03-07（万方平台首次上网日期，不代表论文的发表时间）

页数：共6页

页码：105-109,118