基于深度强化学习的电力市场虚拟投标策略

摘要：

针对电力现货市场中日前(day-ahead,DA)市场和实时(real-time,RT)市场的价格差异导致的市场运行风险大、效率低等问题,可采用虚拟投标(virtual bidding,VB)对未知分布的日前和实时价差进行套利,以促进二者的价格趋同.从时空维度搭建虚拟投标的市场架构,将虚拟投标划分为机组型和负荷型2种类别,以虚拟投标者累积收益最大化为目标,建立含预算约束的多区域多时段虚拟投标模型,该模型可表述为经典的0-1背包问题.同时,采用条件风险价值工具量化风险偏好、规避、中立3种类型的虚拟投标者所面临的风险,建立考虑风险度量的电力市场虚拟投标策略模型.针对这一问题的求解,构建深度强化学习(deep reinforcement learning,DRL)网络框架,通过设计合理的状态、动作空间及奖励函数,并利用深度Q网络与环境交互,获得信息反馈并优化神经网络参数,实现对最优投标策略的有效求解.利用美国PJM电力市场2018年6—12月数据计算虚拟投标者的累积收益和夏普比率,并与贪心算法、动态规划等方法进行对比,验证了该文模型和算法的有效性、优越性.

关键词：虚拟投标、0-1背包问题、深度强化学习、条件风险价值、夏普比率

所属期刊栏目：42

分类号：TM73(输配电工程、电力网及电力系统)

在线出版日期：2022-03-17（万方平台首次上网日期，不代表论文的发表时间）

页数：共13页

页码：1443-1454,中插18