隨著我國經(jīng)濟(jì)發(fā)展,中國的能源消耗也不斷增長,其中建筑能耗在全國的總能耗占比高且不斷增長,針對(duì)建筑節(jié)能設(shè)計(jì)和能耗研究非常迫切�？照{(diào)機(jī)組耗能在建筑能耗中占比較高,因此對(duì)空調(diào)機(jī)組優(yōu)化控制是降低建筑能耗的有效措施。本研究以解決當(dāng)前建筑設(shè)備控制策略的局限性,利用強(qiáng)化學(xué)習(xí)能夠通過迭代不斷調(diào)整控制策略,從而得到最優(yōu)策略,實(shí)現(xiàn)建筑節(jié)能為中心。深度強(qiáng)化學(xué)習(xí)算法收斂需要大量的數(shù)據(jù),而空調(diào)系統(tǒng)現(xiàn)有的監(jiān)測(cè)數(shù)據(jù)有限,嚴(yán)重影響在實(shí)際工程中的應(yīng)用。本研究通過自模擬度量、樣本排序等方法改進(jìn)深度確定策略梯度算法,降低算法對(duì)數(shù)據(jù)量的需求,同時(shí)利用深度雙Q網(wǎng)絡(luò)對(duì)空調(diào)機(jī)組的負(fù)荷進(jìn)行預(yù)測(cè)來進(jìn)一步優(yōu)化空調(diào)機(jī)組的控制策略,從而實(shí)現(xiàn)建筑節(jié)能。主要包括以下三部分內(nèi)容:(1)針對(duì)深度確定策略梯度算法收斂速率較慢,需要大量數(shù)據(jù)的問題,提出了一種增強(qiáng)型深度確定策略梯度(E-DDPG)算法。該算法在深度確定策略梯度算法的基礎(chǔ)上,重新構(gòu)建兩個(gè)新的樣本池——多樣性樣本池和高誤差樣本池。在算法執(zhí)行過程中,訓(xùn)練樣本分別從多樣性樣本池和高誤差樣本池按比例選取,以兼顧樣本多樣性以及樣本價(jià)值信息,提高樣本的利用效率和算法的收斂性能。此外,進(jìn)一步從理論上證明了利用自模擬度量方法對(duì)樣本進(jìn)行相似性度量的合理性,建立值函數(shù)與樣本相似性之間的關(guān)系。將E-DDPG算法以及DDPG算法用于經(jīng)典的Pendulum問題和Mountain Car問題,實(shí)驗(yàn)結(jié)果表明,E-DDPG需要較少的數(shù)據(jù)就能夠收斂。(2)從空調(diào)機(jī)組負(fù)荷影響因素、實(shí)際數(shù)據(jù)能否收集等角度出發(fā),確立空調(diào)系統(tǒng)負(fù)荷預(yù)測(cè)的相關(guān)參數(shù),即室外溫度、室外相對(duì)濕度、前一時(shí)刻空調(diào)系統(tǒng)負(fù)荷、前二時(shí)刻空調(diào)系統(tǒng)負(fù)荷、前三時(shí)刻空調(diào)系統(tǒng)負(fù)荷。監(jiān)測(cè)系統(tǒng)由于突然斷電,卡機(jī)等原因?qū)е聰?shù)據(jù)存在缺失,因此需對(duì)數(shù)據(jù)進(jìn)行預(yù)處理。將負(fù)荷預(yù)測(cè)和影響因素建立馬爾科夫模型,同時(shí)為避免強(qiáng)化學(xué)習(xí)動(dòng)作值函數(shù)的過估計(jì),選用DDQN算法進(jìn)行負(fù)荷預(yù)測(cè)。最后采用某環(huán)境學(xué)院記載的建筑能耗監(jiān)測(cè)數(shù)據(jù)進(jìn)行實(shí)驗(yàn)。實(shí)驗(yàn)結(jié)果表明,基于深度強(qiáng)化學(xué)習(xí)的負(fù)荷預(yù)測(cè)方法對(duì)建筑負(fù)荷預(yù)測(cè)的精度較高,可以為空調(diào)設(shè)備的優(yōu)化策略提供指導(dǎo)。(3)基于本研究提出的深度強(qiáng)化學(xué)習(xí)改進(jìn)算法E-DDPG算法和空調(diào)負(fù)荷預(yù)測(cè)算法,實(shí)現(xiàn)空調(diào)系統(tǒng)的控制優(yōu)化。首先基于已有研究和空調(diào)冷源系統(tǒng)相關(guān)設(shè)備的分析研究,確立優(yōu)化控制的相關(guān)控制參數(shù),即冷凍水出水溫度、冷凍水泵流量、冷卻水進(jìn)水溫度、冷卻水泵流量,根據(jù)設(shè)備的工作特性確立設(shè)備運(yùn)行的約束條件,最終建立優(yōu)化控制的目標(biāo)�；谏鲜龇治�,構(gòu)建馬爾科夫模型,同時(shí)針對(duì)實(shí)際數(shù)據(jù)存在的問題和量綱不同進(jìn)行數(shù)據(jù)處理與歸一化操作,通過E-DDPG算法求解不同負(fù)荷區(qū)間相關(guān)控制的最優(yōu)參數(shù),最后利用負(fù)荷預(yù)測(cè)算法預(yù)測(cè)出的空調(diào)系統(tǒng)下一時(shí)刻的負(fù)荷,實(shí)時(shí)將空調(diào)系統(tǒng)的設(shè)備參數(shù)調(diào)整到最優(yōu)參數(shù),實(shí)現(xiàn)空調(diào)系統(tǒng)的能耗節(jié)約。
【學(xué)位單位】：蘇州科技大學(xué)
【學(xué)位級(jí)別】：碩士
【學(xué)位年份】：2019
【中圖分類】：TU201.5;TP18
【部分圖文】：

收斂需要 5.2 小時(shí)，而引入自模擬度量的 E-DDPG 算法收斂僅需要 2.4 小時(shí)。（3）實(shí)驗(yàn)分析圖 3-2 主要說明 DDPG 算法、E-DDPG 算法應(yīng)用于經(jīng)典的 Pendulum 問題上的性能比較(在實(shí)驗(yàn)過程中，每個(gè)算法都獨(dú)立執(zhí)行 3000 個(gè)情節(jié))。從圖 3-2 可以看出，各個(gè)算法在不同情節(jié)下，目標(biāo)任務(wù)達(dá)到終止?fàn)顟B(tài)時(shí)的總回報(bào)值(回報(bào)值是通過目標(biāo)任務(wù)從開始狀態(tài)達(dá)到終止?fàn)顟B(tài)時(shí)總的獎(jiǎng)賞值)，橫坐標(biāo)是情節(jié)，縱坐標(biāo)是算法執(zhí)行 10 次的平均回報(bào)值。圖 3-2 Pendulum 問題中兩種算法的比較圖從圖 3-2 可以看出 E-DDPG 算法在 300 個(gè)情節(jié)基本收斂。DDPG 算法雖然在 400個(gè)情節(jié)的時(shí)候取得較高的回報(bào)值，但是 DDPG 算法還在震蕩并沒有收斂，直到 1200個(gè)情節(jié) DDPG 算法才收斂。因?yàn)橐肓?TD Error，加大了對(duì)具有更高價(jià)值的樣本的選取概率

萍即笱絀妒柯畚?第三章 增強(qiáng)型深度確定策略梯度算法分說明 E-DDPG 算法的穩(wěn)定性比 DDPG 算法更好。圖 3-3 是 E-DDPG 算法是否引入自模擬度量方法進(jìn)行的實(shí)驗(yàn)對(duì)比圖，其中設(shè)置自模擬度量間隔的情節(jié)數(shù) N=30。圖 3-3 可以看出沒有引入自模擬度量方法的 E-DDPG算法在 700 個(gè)情節(jié)算法才收斂，而引入自模擬度量方法的 E-DDPG 算法在 300 個(gè)情節(jié)算法就收斂，而 DDPG 算法在 1200 個(gè)情節(jié)才收斂。因?yàn)樽阅M度量方法使得訓(xùn)練的樣本具有更好的多樣性，提高了訓(xùn)練的效率，從而加快訓(xùn)練的速度。圖 3-3 Pendulum 問題中 E-DDPG 算法是否引入自模擬度量方法的比較圖圖 3-2 中對(duì) TD Error 的閾值 p 設(shè)置是 0.4，訓(xùn)練的小 batch 的樣本總數(shù)是 64，其中隨機(jī)樣本每次訓(xùn)練選取 32 個(gè)，高 TD Error 的樣本每次訓(xùn)練選取 32 個(gè)。以上參數(shù)均為手工設(shè)置

圖 3-3 Pendulum 問題中 E-DDPG 算法是否引入自模擬度量方法的比較圖 3-2 中對(duì) TD Error 的閾值 p 設(shè)置是 0.4，訓(xùn)練的小 batch 的樣本總數(shù)是 樣本每次訓(xùn)練選取 32 個(gè)，高 TD Error 的樣本每次訓(xùn)練選取 32 個(gè)。以工設(shè)置，本文針對(duì)這兩點(diǎn)分別設(shè)計(jì)實(shí)驗(yàn)，驗(yàn)證算法的收斂性與 TD Erro置和樣本選取方式之間的關(guān)聯(lián)性。

【參考文獻(xiàn)】

相關(guān)期刊論文 前5條

1 朱斐;劉全;傅啟明;伏玉琛;;一種用于連續(xù)動(dòng)作空間的最小二乘行動(dòng)者-評(píng)論家方法[J];計(jì)算機(jī)研究與發(fā)展;2014年03期

2 李帆;曲世琳;于丹;曹勇;毛曉峰;;基于運(yùn)行數(shù)據(jù)人工神經(jīng)網(wǎng)絡(luò)的空調(diào)系統(tǒng)逐時(shí)負(fù)荷預(yù)測(cè)[J];建筑科學(xué);2014年02期

3 劉大龍;劉加平;楊柳;;建筑能耗計(jì)算方法綜述[J];暖通空調(diào);2013年01期

4 孫志軍;薛磊;許陽明;王正;;深度學(xué)習(xí)研究綜述[J];計(jì)算機(jī)應(yīng)用研究;2012年08期

5 石磊 ,趙蕾 ,王軍 ,劉咸定;應(yīng)用人工神經(jīng)網(wǎng)絡(luò)預(yù)測(cè)建筑物空調(diào)負(fù)荷[J];暖通空調(diào);2003年01期

相關(guān)碩士學(xué)位論文 前1條

1 崔治國;基于數(shù)據(jù)挖掘技術(shù)的空調(diào)系統(tǒng)管控方法研究[D];中國建筑科學(xué)研究院;2018年

本文編號(hào)：2829580