【摘要】：隨著我國城市的迅速發(fā)展,大型公共建筑的數(shù)量不斷增加,建筑高能耗問題日益突顯,因此建筑節(jié)能成為當(dāng)前建筑智能領(lǐng)域的一項研究重點。能耗預(yù)測是能耗優(yōu)化的重要前提,通過對能耗預(yù)測結(jié)果進行分析,可以為建筑節(jié)能提供依據(jù)。大型公共建筑是一個復(fù)雜的非線性系統(tǒng),這使得能耗預(yù)測變得困難,而且能耗預(yù)測需要采集大量不同狀態(tài)的能耗樣本,但是樣本的采集成本較高。強化學(xué)習(xí)是一種能夠在與環(huán)境的交互中采集樣本的學(xué)習(xí)方法,通過與環(huán)境交互獲得樣本,學(xué)習(xí)從環(huán)境到動作的映射,最終目標(biāo)是最大化累積獎賞,并獲得最優(yōu)策略,其主要優(yōu)點在于自學(xué)習(xí)。本文圍繞如何利用強化學(xué)習(xí)方法對建筑能耗預(yù)測展開研究,通過生成對抗網(wǎng)絡(luò)生成與歷史能耗相似的樣本以解決真實能耗樣本不足的問題,然后將強化學(xué)習(xí)中Q學(xué)習(xí)算法用于建筑能耗預(yù)測。同時,為了提高算法性能以及能耗預(yù)測準確率,引入深度學(xué)習(xí)與值函數(shù)近似方法,構(gòu)建深度Q網(wǎng)絡(luò)。本文主要內(nèi)容包括以下三部分:(1)針對將強化學(xué)習(xí)應(yīng)用于能耗預(yù)測中存在真實能耗樣本不足的問題,首先提出一種基于生成對抗網(wǎng)絡(luò)的強化學(xué)習(xí)算法。該算法在訓(xùn)練初期通過隨機策略收集經(jīng)驗樣本以構(gòu)成真實樣本池,并利用所收集的經(jīng)驗樣本訓(xùn)練生成對抗網(wǎng)絡(luò),然后利用生成對抗網(wǎng)絡(luò)生成新的樣本構(gòu)成虛擬樣本池,再結(jié)合真實樣本池以及虛擬樣本池共同選擇訓(xùn)練樣本。最后,將該算法應(yīng)用于OpenAI Gym仿真平臺中的強化學(xué)習(xí)問題,實驗結(jié)果表明,該算法可以有效解決強化學(xué)習(xí)任務(wù)初期經(jīng)驗樣本不足的問題。(2)將第一部分所提出的算法應(yīng)用于建筑能耗預(yù)測,提出一種基于生成對抗網(wǎng)絡(luò)的Q學(xué)習(xí)能耗預(yù)測算法。該算法將能耗預(yù)測問題建模為時間序列預(yù)測問題,然后結(jié)合Q學(xué)習(xí)算法,預(yù)測未來時刻建筑能耗。同時,引入生成對抗網(wǎng)絡(luò),結(jié)合真實樣本,生成新的建筑能耗樣本,以解決建筑能耗樣本不足的問題。最后,基于美國巴爾的摩燃氣和電力公司的建筑能耗數(shù)據(jù),將所提出的算法進行實驗分析,實驗結(jié)果表明,所提出的算法可以有效地預(yù)測未來時刻建筑能耗。(3)針對將Q學(xué)習(xí)算法應(yīng)用于非線性能耗預(yù)測性能較低的問題,提出一種基于生成對抗網(wǎng)絡(luò)的深度Q學(xué)習(xí)能耗預(yù)測算法。該算法引入深度神經(jīng)網(wǎng)絡(luò),構(gòu)建深度Q網(wǎng)絡(luò)計算動作值函數(shù),輸入為狀態(tài),輸出為每個動作的動作值函數(shù),用值函數(shù)近似方法來避免Q學(xué)習(xí)在大狀態(tài)空間中,算法性能較差,甚至無法收斂的問題。實驗結(jié)果表明,所提出的算法可以進一步提高建筑能耗預(yù)測準確率。
【圖文】：

那么稱策略π 為最優(yōu)策略。最優(yōu)策略也許會有多個，，但是它們都享同一個動作值函數(shù)，如公式(4.3)所示：( , ) max [ | , , ]t t tQ s a E R s s a aππ = = = (4.3)公式(4.3)被稱為最優(yōu)動作值函數(shù)，且最優(yōu)動作值函數(shù)遵循貝爾曼最優(yōu)方程，公式(4.4)所示：'~'( , ) [ max ( ', ') | , ]s SaQ s a E r γQ s a s a = + (4.4)在傳統(tǒng)的強化學(xué)習(xí)任務(wù)中，Q 學(xué)習(xí)算法首先初始化所有狀態(tài)動作對的 Q 值，后通過迭代貝爾曼方程求解 Q 值函數(shù)，如公式(4.5)所示：1 '~'( , ) [ max ( ', ') | , ]i s S iaQ s a E r γQ s a s a+= + (4.5)其中，當(dāng)i → ∞ 時，iQ Q → ，通過不斷地迭代會使得動作值函數(shù)最終收斂，而得到最優(yōu)策略 argmax ( , )a AπQ s a ∈= 。2 能耗預(yù)測算法原理
【學(xué)位授予單位】：蘇州科技大學(xué)
【學(xué)位級別】：碩士
【學(xué)位授予年份】：2019
【分類號】：TU201.5;TP18

【參考文獻】

相關(guān)期刊論文 前1條

1 李建;陳烈;茅林明;;支持向量機在建筑能耗預(yù)測中的應(yīng)用[J];建筑節(jié)能;2014年12期

相關(guān)博士學(xué)位論文 前1條

1 馮可梁;建筑能耗分析與決策方法及其在北京市應(yīng)用研究[D];北京理工大學(xué);2014年

相關(guān)碩士學(xué)位論文 前2條

1 楊文人;基于能耗預(yù)測模型的能源管理系統(tǒng)研究與實現(xiàn)[D];華南理工大學(xué);2013年

2 肖丹;公共建筑能耗分析的數(shù)據(jù)挖掘方法研究與系統(tǒng)開發(fā)[D];重慶大學(xué);2012年

本文編號：2664287