基于生成对抗网络的Q学习能耗预测方法
时间：2021-01-27 10:08:12 来源：达达文档网 本文已影响 人 
王悦 黄泽天 邹锋
摘要：针对大型公共建筑之中实际能耗数据缺乏、能耗预测精度低的问题，提出了一种方法——基于生成对抗网络的Q学习能耗预测算法（Reinforcement Learning Algorithm Based on Generative Adversarial Networks，GAN_RL）。該算法首先将能耗数据转化成时间标记的数据，同时利用生成对抗网络生成部分建筑能耗数据，并将其加入原始能耗数据之中，将前几个时辰的能耗数据通过环境状态进行建模，结合Q学习方法预测后续能耗。该算法采用结合生成对抗网络与Q学习的方法解决了能耗数据不足的问题。实验表明，该算法能有效地预测建筑能耗，预测精度高。
关键词：建筑能耗; 生成对抗网络;Q学习;能耗预测
中图分类号：TP181 文献标识码：A
文章编号：1009-3044（2020）23-0222-03
Abstract：
Aiming at the problem of lack of actual energy consumption data and low accuracy of energy consumption prediction in large public buildings， a method based on Q-learning algorithm based on generative adversarial networks （GAN_RL） is proposed. Firstly， the energy consumption data is transformed into time tagged data. At the same time， part of the building energy consumption data is generated by the generation of countermeasures network and added to the original energy consumption data. The energy consumption data of the first few hours are modeled through the environmental state， and the subsequent energy consumption is predicted by combining the Q-learning method. In this algorithm， the problem of energy consumption data shortage is solved by combining the generation of countermeasure network and Q-learning. Experimental results show that the algorithm can effectively predict building energy consumption with high accuracy.
Key words：
building energy; generative adversarial networks;Q-learning; energy consumption prediction
1 绪论
在我国经济突飞猛进的今天，大型公共建筑的总数量呈逐年上升的态势，同时大型公共建筑的耗电量也是普通居民住宅的几十倍[1]。随着社会发展速度的加快，大型公共建筑耗能高的难题日渐凸显，关于大型的公共建筑能耗变化和发展特性进行剖析，能够为城市的建筑节能任务给予一定的根据[4]。因而在大型建筑的用电能耗进行预测是必要的。
关于大型公共建筑一类能耗预测的问题， 2018年，Lai等人提出了一种能耗预测算法，该算法使用人工神经网络用历史能耗数据训练神经网络，达到预测能耗的目的[3]。但是该算法存在收敛速度慢、效率比较低的问题。因此，刘倩颖等人于2018年提出了基于kmeans聚类与BP神经网络的建筑能耗预测模型，此算法在BP神经网络的基础上，应用kmeans聚类算法以在它之上聚类，显著提高了预测精度[1]。但是，目前人工神经网络算法的改进基本来说是从改良神经网络的方面入手的，或者提高历史能耗数据的利用率，没有考虑到从数据样本大小的角度出发去改善预测精度。生成对抗网络（Generative Adversarial Networks，GAN）主要是生成器模型及判别器模型构成，其暗含的根本思想是从训练数据库中得到足量的经验样本，并学习这些经验样本的概率分布，以处理数据样本缺乏的难题[4]。
本文针对大型公共建筑能耗预测精度不高的问题，提出一种算法，该算法将生成对抗网络与Q学习相结合作为一种建筑能耗预测算法（Reinforcement Learning Algorithm Based on Generative Adversarial Networks，GAN_RL）。该算法通过采集建筑能耗形成真实能耗样本池，而后应用GAN构成GAN产生的数据样本池作为新生成的能耗样本。两者共同为Q学习预测模型提供训练样本。这个算法将能耗数据转化成时间标记的数据，经过前几个时辰的能耗对环境状态进行建模，结合Q学习方法预测后续能耗。该算法有效解决了因能耗样本不足而导致的大型建筑能耗预测准确率较低的问题，为解决能耗预测问题提供了新思路。试验结果表明，该能耗预测方法预测的精度较高。
2 背景知识
建筑能耗的预测与分析是确定合理节能策略的根底，是节约能耗降低耗能工作的研究热点之一， 目前很多专家学者于建筑节能问题进行了深入的研究[5]，从研究对象的角度大抵可以被分两类：第一类主要从建筑结构方面着手，在建筑最初规划设计阶段使用建筑能耗模拟软件对建筑能耗进行预测[1]。在建筑构建阶段进行软件仿真对于建筑能耗剖析具备相当价值的侧面作用，通过软件模拟可以细致研究建筑物本身不可变因素对能耗的影响。虽然在建筑设计初期通过软件模拟可以获得建筑物能耗预测，但是由于不同人生活习惯的差异以及之后对建筑物使用方式的不同导致模拟软件所预测的能耗与实际能耗有很大差异。建筑能耗数据包含了在使用建筑物过程中能耗的所有相关信息，所以通过研究建筑能耗数据可以了解建筑能耗产生规律，并基于此选择合适的建筑物能耗使用方案和节能措施;第二类研究主要集中在对建筑能耗数据的分析处理上，经过线性回归算法寻找能源数据与影响变量因素的权值联系，然后对建筑能耗数据做进一步的分处理以达到分析预测能耗的目的[3]。但此类研究的对象一般是整个地区或整个城市的能耗数据，并且时间段一般以月/单位耗电量和年/单位耗电量为单位，关于逐时耗电量简直未曾提及，不可以充分的达到短期的能耗预测的目的标准。
目前，建筑能耗预测方法大致可分为以下四种：工程简化算法、统计学方法、并行计算方法和人工智能方法。工程简化算法不需要烦琐的输入，通过月平均温度来预测校园、大型商业建筑或住宅的能耗;統计学方法以多元回归方法为例，使用回归方法关联建筑能耗与建筑参数快速预测能耗;并行计算方法在保证原有计算精度的同时增加计算资源以达到快速预测能耗的目的;而人工智能方法以人工神经网络模型为例，不仅能够改变各个变量之间的非线性关系，在能耗预测方面也比传统方法具有更高的精度。
3 基于GAN的Q学习能耗预测算法
基于Q学习的能耗预测算法需要通过计算值函数来获得最优策略，但是在训练过程中，由于agent缺少建筑物能耗样本，所以存在学习速度慢、预测准确率低的情况。因此，在面对Q学习预测算法效率不高的问题，引入生成对抗网络，采用一种结合生成对抗网络技术的以Q学习为根底研讨措施的能耗预测算法。在面对能耗数据不足的问题上生成符合已有数据特征分布的“仿真”数据解决数据不足的问题，从而提高研究中所要预测的数据的精度。
3.1 基于Q学习的建筑能耗预测方法
在Q学习任务中，Q学习算法能够在不理解马尔科夫动态的特点的情况下找到马尔科夫决策进程最优的策略，Q学习不会为马尔科夫决策进程其动态特性去建立模型，通常直接估量每个状态下每个举措的Q值，而后经过抉择每个状态下最高Q值所对应的举措来构成策略[2]。面对能耗数据预测的问题接下来利用马尔可夫决策过程来进行建模：
因为收集到的能耗数据具备时间序列的特性，因此预测模型样本也应该具有时间序列结构，这是一种时间序列结构。因此，预测模型样本包含以下几个部分：
基于上述预测模型的样本，使用Q学习算法进行Q学习， 如式（1）所示：
其中，α 表示学习率，[γ]表示的是折扣因子，动作[a∈A]， [A]则是被称作为动作空间，状态[s，s"∈S]，[S]则是被称作为状态空间，[r]为agent执行从当前状态到下一状态的操作所获得的奖励值，[Q（s，a）]为动作值函数。在每个时辰，依据上一时辰状态[s]抉择动作a，并观察奖赏[r]和下一时刻状态[s"]，结合公式更新Q值。
3.2 基于GAN的建筑能耗样本生成方法
针对由于训练过程中缺少建筑物能耗样本导致能耗预测算法效率低的问题，在预测模型中引入之前所提到的生成对抗网络。此时建筑物能耗真实样本集如式（2）所示：
[s]表示上一状态建筑物能耗，[s"]表示下一状态建筑物能耗。由于后续状态[s"]基于上一时刻状态[s]。因此，[s]与[s"]之间存在一定的联系，并通过其联系基于深层神经网络（Rectified Relationship Unit，R-RU）的关系校正单元的构建，其中作为输入用[s]表示，作为输出用[s"]表示，关系修正单元用于训练建筑能耗真实样本集[s]和[s"]之间所存在的内在关系。
主要是用于指导生成对抗网络GAN生成更加近似真实能耗数据的样本。
与建筑物能耗真实样本集一致，利用GAN所生成的建筑物能耗数据如式（3）所示：
[sz]代表生成器模型所生成前一状态的建筑能耗值，[sz"]代表生成器模型所生成的后续状态的建筑能耗值。生成器所生成的建筑物能耗数据与原先所测得的真实能耗样本集共同训练agent，以获得最优策略。
考虑利用建筑物能耗真实样本集训练GAN，GAN能够学习到属于最初收集的真实样本地概率分布，然后GAN以此生成建筑物能耗样本，同时，结合生成的能耗样本中的上一状态建筑物能耗[sz]，将[sz]输入R-RU，R-RU的输出作为构建的下一状态建筑物能耗[sz""]，目标是使得所生成的下一状态建筑物能耗[sz"]与构建的下一状态建筑物能耗[sz""]他们之间有很高的相似性。[sz"]和[sz""]之间的相似程度采用相对熵（[KL]散度）来描述，如式（4）所示：
[P]表示生成的上一状态建筑物能耗[sz"]，[Q]表示构建的下一状态建筑物能耗[sz""]。因此，值函数[W（D，G）]如式（5）所示：[]
其中k是权重参数。同时，通过对GAN模型的正则化，提高了数据生成的质量。的一个辅助方法。另外，当GAN参数不断改变时， [sz]和[sz"]也会依据真实能耗数据集不断地改变更新，最终[W（D，G）]会趋向一个全局最小值。
3.3 GAN_RL算法
针对大型公共建筑能耗预测精度低、实际能耗数据缺乏的问题，提出了一种方法——基于生成对抗网络的Q学习能耗预测算法（Reinforcement Learning Algorithm Based on Generative Adversarial Networks，GAN_RL）。该算法在Q学习的基础上引入了生成对抗网络，具体流程图如图1所示。
其中，首先收集真实能耗数据，在对能耗数据进行简单的预处理之后导入到GAN之中生成的数据一并加入建筑能耗数据之中，以改善数据不足的问题，同时在训练GAN的过程中加入R-Ru算法。
根据算法流程图可以大致了解能耗预测模型中数据的处理过程，以此为基础建立GAN_RL算法，如算法1所示。
算法1 GAN_RL算法
GAN_RL算法其中训练生成对抗网络GAN和关系修正单元R-RU的同时，根据收集真实数据，R-RU也会不断改进GAN，提高GAN生成数据的可靠度。在训练agent的同时，GAN也会生成新的样本加入[D2]中，最后结合[D1]和[D2]共同选择样本数据，提供给控制器agent训练奖赏值函数，以达到最大化累计奖赏，来实现更加精准的建筑能耗预测效果。
4 实验结果分析
如图2，表示的是原始建筑能耗数据量，坐标轴横轴表示时间，坐标轴纵轴表示相对应的建筑能耗。上图图3表示的是经过能耗预测拟合曲线与真实能耗数据的对比图。由于要避免偶然性，预测算法需要独立执行50次，摒弃具有异常值的数据曲线，求各个节点数据的均值。在试验最初，获取能耗数据的同时，将其排列为时间序列，如图2，之后将这些数据作为算法的输入值即原始数据，算法的输出值与实际值的对比如图3，根据图3可知该算法通过结合GAN与Q学习，将其应用到建筑能耗预测中，具有很好的预测效果，预测模型的预测精确度也较高。
5 结束语
本文主要针对大型公共建筑中的能耗预测任务准确率不高的问题，提出一种算法，该算法将生成对抗网络GAN结合Q学习作为一种能耗预测算法应用到建筑领域中。该算法首先采集能耗数据构成真实能耗样本池，而后通过GAN产生数据作为新的能耗数据。新数据与原始数据两者合并一起作为Q学习预测模型的训练样本，之后这些数据则用于能耗预测。该算法有效解决了因能耗样本不足而导致的预测准确率不太高的问题，为解决能耗预测问题提供了新思路。根据实验结果可以得出该能耗预测方法的准确率较高。
参考文献：
[1] Banihashemi S，Ding G，Wang J.Developing a hybrid model of prediction and classification algorithms for building energy consumption[J].Energy Procedia， 2017，110：371-376.
[2] Watkins C J C H，Dayan P.Q-learning[J].Machine Learning， 1992，8（3/4）：279-292.
[3] 陈建平，邹锋，刘全，等.一种基于生成对抗网络的强化学习算法[J].计算机科学，2019，46（10）：265-272.
[4] 邹锋，田大伟，王悦，等.基于生成对抗网络的深度学习能耗预测算法[J].电脑知识与技术，2019，15（2）：198-200.
[5] 邹锋.基于生成对抗网络的强化学习方法及其在建筑节能方面的应用[D].苏州：苏州科技大学，2019.
【通联编辑：唐一东】
