技术摘要：
本发明公开了一种考虑电力期货变化影响的发电商智能体和报价方法，智能体包括：Q值表构建模块，用于建立由市场出清价格构成的状态集和报价动作的动作集构成的Q值表，并进行初始化；动作选择模块，用于建立发电商在电能的市场竞价模型，并根据建立的市场竞价模型基于Q值  全部
背景技术：
随着电力现货市场在国内市场的涌现，发电商将逐渐参与电力市场的竞价以获取 自身的利益，在市场环境下，参与者为获得更高的利润，总是不断优化自身的投标策略。目 前，我国电力市场还处于刚刚起步的阶段，发电商对市场环境还不熟悉，需要完善的报价策 略理论作为指导。高效的报价决策工具可以帮助决策人员和报价人员进行一次成功的报价 从而获得高额的收益。除此之外，研究和推演发电商的报价行为，还有助于电力市场的监管 机构对发电商的行为进行考察，从而识别市场规则中的存在的漏洞，不断完善我国的电力 市场的政策法规，因此，对我国电力市场中发电商行为进行研究是十分必要的。 电力期货作为电力市场参与者规避市场风险的主要手段之一，已被广泛应用于许 多国家的电力市场中。研究表明，市场参与者的期货交易对发电厂商的投标策略有一定的 影响，期货价格的变动会对现货市场的交易产生正向影响，虽然风险回避的市场参与者可 利用电力期货有效地回避现货电价的波动风险，但风险中立的市场参与者也有可能利用电 力期权交易对现货市场的策略性影响，为增加收益或扩大市场份额而进入期货市场。因此， 市场参与者迫切需要科学合理的决策模型来评估电力期货对电力市场均衡及市场参与者 策略行为的影响，以便为其规避市场风险、实现利润最大化提供决策依据，同时市场监管机 构也非常需要根据合适的决策模型为其提供科学指导和监管市场行为的依据。 传统的发电商报价策略研究方法主要是考虑现货市场的模型，但是期货市场的交 易对现货市场具有重大的影响，发电商在做出报价时应当考虑电力期货价格的变化，因此 研究考虑电力期货价格变化影响的发电商报价方法，对电力期货和现货市场的建设具有重 要的推动意义。
技术实现要素：
发明目的：本发明针对现有技术中未考虑电力期货价格变化的问题，提供一种考 虑电力期货变化影响的发电商智能体及报价方法。 技术方案：本发明所述的考虑电力期货变化影响的发电商智能体包括： Q值表构建模块，用于建立由市场出清价格构成的状态集和报价动作的动作集构 成的Q值表，并进行初始化； 动作选择模块，用于建立发电商在电能的市场竞价模型，并根据建立的市场竞价 模型基于Q值表需选择报价动作； 动作修正模块，用于判断发电商考虑期货影响程度，并根据期货价格变动幅度修 正报价； Q值表更新模块，用于将修正的报价提交给ISO进行出清，并根据收益、出清价格更 7 CN 111582903 A 说　明　书 2/12 页 新Q值表。 进一步的，所述Q值表构建模块具体包括： 状态集建立单元，用于根据发电商智能体状态区间和间隔大小，建立由市场出清 价格构成的状态集state； 动作集建立单元，用于根据发电商智能体动作区间和间隔大小，建立由报价动作 构成的动作集action； Q值表建立单元，用于采用发电商智能体状态集state和动作集action构建对应的 Q值表，Q值表中，行数为state的维数，列数为action的维数； 初始化单元，用于将Q值表中的所有值全部初始化为0。 进一步的，所述动作选择模块具体包括： 发电机组电能报价模型建立单元，用于建立发电机组电能报价模型： 式中：Ci(PGi)为发电商i的燃料成本函数；PGi为发电商i的出力；ai、bi、ci分别为燃 料成本的一项次系数、二次项系数和常数项系数，G表示发电商集合；C mi (PGi)为发电商i的 边际成本函数；p(PGi)为发电商i的电能投标曲线；pi为发电商i提交的电能投标系数； 竞价模型建立单元，用于根据发电机组电能报价模型建立发电商在电能的市场竞 价模型： 式中：fG为发电商i的利润，λe为电能的出清价格，ki为发电商i在电能市场的报价 系数；kimin、kimax分别为发电商i的电能报价系数的最小值和最大值；PDh为第h位用户的负荷 需求；L为网络节点集合；PGimin、PGimax分别为发电机i的技术出力上下限，fISO为所有发电商 报价的成本之和； 动作选择单元，用于基于Q值表选择报价动作，具体选择方法为： 基于均匀随机算法，从Q值表中随机选择一个报价动作ar，其中， 为状 态sn下选择动作ar的概率，sn表示第n次迭代时的状态，初始状态为随机选择，N为动作的个 数； 基于greedy策略选择一个报价动作ap，即从Q值表中选择当前状态Q值最大的报价 动作作为最优报价动作，其中，ap＝argmaxQn-1(sn,a)，Qn-1(sn,a)为Q值表未更新时在状态sn 下采用动作a对应的Q值； 采用模拟退火法的Metropolis准则动态选取参数ε的值： 8 CN 111582903 A 说　明　书 3/12 页 式中，Temperature为模拟退火算法中的温度； 生成一个介于0到1之间的随机数rand，比较rand与ε的大小，根据下式确定最终选 定报价动作an，最后根据最终选定报价动作an，在Q值表动作集找到对应的报价系数ki 进一步的，所述动作修正模块具体包括： 期货价格变化幅度计算单元，用于根据当前的电力期货价格，以及之前的电力期 货价格，计算期货价格变化幅度： 式中：correction为期货价格的变化幅度，futures为当前的电力期货价格， futures_old为之前的电力期货价格； 修正概率设定单元，用于根据设定的发电商的报价习惯，包括对电力期货价格不 敏感、对期货价格比较敏感、对期货价格非常敏感三种，分别设定不同的修正概率p＝0.1、 0.5、0.9，修正概率越大，发电商受期货价格影响修正报价的概率越大； 动作修正单元，用于生成一个介于0到1之间的随机数random，如果对应的概率值 大于random，则选择对发电商报价进行修正，修正后的报价系数为kip，否则仍然采用系数 ki： 进一步的，所述Q值表更新模块具体包括： 报价提交单元，用于根据修正后的报价系数kip对报价进行修正，并提交给ISO进行 出清，其中，ISO市场出清模型为： 式中：PGi为发电商i的出力；ai、bi分别为燃料成本的一项次系数、二次项系数，L为 网络节点集合；branch为支路集合；λel为节点l的市场出清价格；PDh为第h位用户的负荷需 求；Xij为支路ij的电抗值；θi、θj分别为节点i、j对应的相角；Pijmax为线路ij的潮流限制， PGimin、PGimax分别为发电机i的技术出力上下限； 收益计算单元，用于根据ISO反馈的发电商节点电价以及中标电量，计算收益r： 9 CN 111582903 A 说　明　书 4/12 页 式中，λe为节点i的节点电价； Q值表更新单元，用于根据收益r更新Q值表中对应的值： 式中，Qn(s ,an)、Qn 1(s ,an)为Q值表更新前、后在状态s下采用动作an对应的Q值，α 为强化学习的学习速率，rn为当前动作的即时收益，γ为强化学习的折扣率， 是记忆中的利益，是状态sn 1能给出的最大效用值； 状态更新单元，用于根据出清结果将状态更新为sn 1。 本发明所述的考虑电力期货变化影响的发电商报价方法包括： (1)建立由市场出清价格构成的状态集和报价动作的动作集构成的Q值表，并进行 初始化； (2)建立发电商在电能的市场竞价模型，并根据建立的市场竞价模型基于Q值表需 选择报价动作； (3)判断发电商考虑期货影响程度，并根据期货价格变动幅度修正报价； (4)将修正的报价提交给ISO进行出清，并根据收益、出清价格更新Q值表。 进一步的，步骤(1)具体包括： (1-1)根据发电商智能体状态区间和间隔大小，建立由市场出清价格构成的状态 集state； (1-2)根据发电商智能体动作区间和间隔大小，建立由报价动作构成的动作集 action； (1-3)采用发电商智能体状态集state和动作集action构建对应的Q值表，Q值表 中，行数为state的维数，列数为action的维数； (1-4)将Q值表中的所有值全部初始化为0。 进一步的，步骤(2)具体包括： (2-1)建立发电机组电能报价模型： 式中：Ci(PGi)为发电商i的燃料成本函数；PGi为发电商i的出力；ai、bi、ci分别为燃 料成本的一项次系数、二次项系数和常数项系数，G表示发电商集合；C mi (PGi)为发电商i的 边际成本函数；p(PGi)为发电商i的电能投标曲线；pi为发电商i提交的电能投标系数； (2-2)根据发电机组电能报价模型建立发电商在电能的市场竞价模型： 10 CN 111582903 A 说　明　书 5/12 页 式中：fG为发电商i的利润，λe为电能的出清价格，ki为发电商i在电能市场的报价 系数；kimin、kimax分别为发电商i的电能报价系数的最小值和最大值；PDh为第h位用户的负荷 需求；L为网络节点集合；PGimin、PGimax分别为发电机i的技术出力上下限，fISO为所有发电商 报价的成本之和； (2-3)基于Q值表选择报价动作，具体选择方法为： 基于均匀随机算法，从Q值表中随机选择一个报价动作ar，其中， 为状 态sn下选择动作ar的概率，sn表示第n次迭代时的状态，初始状态为随机选择，N为动作的个 数； 基于greedy策略选择一个报价动作ap，即从Q值表中选择当前状态Q值最大的报价 动作作为最优报价动作，其中，ap＝argmaxQn-1(sn,a)，Qn-1(sn,a)为Q值表未更新时在状态sn 下采用动作a对应的Q值； 采用模拟退火法的Metropolis准则动态选取参数ε的值： 式中，Temperature为模拟退火算法中的温度； 生成一个介于0到1之间的随机数rand，比较rand与ε的大小，根据下式确定最终选 定报价动作an，最后根据最终选定报价动作an，在Q值表动作集找到对应的报价系数ki 进一步的，步骤(3)具体包括： (3-1)根据当前的电力期货价格，以及之前的电力期货价格，计算期货价格变化幅 度： 式中：correction为期货价格的变化幅度，futures为当前的电力期货价格， futures_old为之前的电力期货价格； (3-2)根据设定的发电商的报价习惯，包括对电力期货价格不敏感、对期货价格比 较敏感、对期货价格非常敏感三种，分别设定不同的修正概率p＝0.1、0.5、0.9，修正概率越 大，发电商受期货价格影响修正报价的概率越大； (3-3)生成一个介于0到1之间的随机数random，如果对应的概率值大于random，则 选择对发电商报价进行修正，修正后的报价系数为kip，否则仍然采用系数ki： 11 CN 111582903 A 说　明　书 6/12 页 进一步的，步骤(4)具体包括： (4-1)根据修正后的报价系数kip对报价进行修正，并提交给ISO进行出清，其中， ISO市场出清模型为： 式中：PGi为发电商i的出力；ai、bi分别为燃料成本的一项次系数、二次项系数，L为 网络节点集合；branch为支路集合；λel为节点l的市场出清价格；PDh为第h位用户的负荷需 求；Xij为支路ij的电抗值；θi、θj分别为节点i、j对应的相角；Pijmax为线路ij的潮流限制， PGimin、PGimax分别为发电机i的技术出力上下限； (4-2)根据ISO反馈的发电商节点电价以及中标电量，计算收益r： 式中，λe为节点i的节点电价； (4-3)根据收益r更新Q值表中对应的值： 式中，Qn(s ,an)、Qn 1(s ,an)为Q值表更新前、后在状态s下采用动作an对应的Q值，α 为强化学习的学习速率，rn为当前动作的即时收益，γ为强化学习的折扣率， 是记忆中的利益，是状态sn 1能给出的最大效用值； (4-4)根据出清结果将状态更新为sn 1；判定迭代次数是否达到预设最大次数；若 是，则结束更新Q值表，若没有达到，则继续迭代更新Q值表。 有益效果：本发明与现有技术相比，其显著优点是：本发明考虑了在现实情况中， 期货市场中电力期货价格的变化会对电力现货市场的电价以及成交量产生影响，在原有的 利用强化学习方法选择报价的基础上修正报价，相比现有的报价决策方法，本发明考虑了 期货市场价格变动对现货市场带来的影响，有助于发电商更加准确地在电力市场进行报 价。 附图说明 图1是本发明提供的考虑电力期货变化影响的发电商智能体的一个实施例的模块 示意图； 图2是五机三节点网络拓扑图； 12 CN 111582903 A 说　明　书 7/12 页 图3是不同类型的发电商根据期货价格修正的幅度比较； 图4是发电商报价策略学习过程示意图。