由于建筑具有面積大、能耗大和能耗復(fù)雜等特點(diǎn),并且建筑自身是一個(gè)包含多種系統(tǒng)、設(shè)備相互連接的復(fù)雜非線性系統(tǒng),因此一直被作為節(jié)能的重點(diǎn)。然而,建筑能耗受諸多因素影響,使得能耗預(yù)測(cè)變得相當(dāng)困難。在建筑節(jié)能問(wèn)題中,建筑能耗預(yù)測(cè)方法有很多,例如工程法、數(shù)學(xué)分析法、人工智能法等。其中,人工智能方法目前使用較為廣泛,而強(qiáng)化學(xué)習(xí)方法在人工智能領(lǐng)域引發(fā)了廣泛學(xué)者的關(guān)注,并在多個(gè)領(lǐng)域體現(xiàn)其應(yīng)用價(jià)值。強(qiáng)化學(xué)習(xí)利用試錯(cuò)與環(huán)境相互交互的方法不斷改進(jìn)已獲得的策略,主要優(yōu)點(diǎn)在于自學(xué)習(xí)和在線學(xué)習(xí),是目前人工智能的主要研究方向。本文圍繞如何利用強(qiáng)化學(xué)習(xí)方法對(duì)建筑能耗進(jìn)行預(yù)測(cè)展開(kāi)研究,通過(guò)深度置信網(wǎng)(DBN)對(duì)歷史能耗進(jìn)行狀態(tài)估計(jì),利用強(qiáng)化學(xué)習(xí)中值迭代算法對(duì)能耗建模,實(shí)現(xiàn)能耗預(yù)測(cè)。由于值迭代算法具有較慢的收斂速率、較差的穩(wěn)定性以及“維數(shù)災(zāi)難”等問(wèn)題,本文通過(guò)函數(shù)逼近、option自動(dòng)分層、reward shaping等方法提出兩種改進(jìn)的值迭代算法,更加快速準(zhǔn)確地預(yù)測(cè)建筑能耗,主要內(nèi)容包括以下三部分:(1)針對(duì)經(jīng)典值迭代算法所存在的算法收斂不穩(wěn)定以及收斂速度慢的問(wèn)題,提出一種改進(jìn)的基于函數(shù)逼近的冗余值迭代算法。算法將經(jīng)典的值迭代算法與貝爾曼冗余值迭代算法相結(jié)合,引入權(quán)重因子,構(gòu)建新的值函數(shù)參數(shù)更新向量,同時(shí)從理論上證明,利用所提出的值函數(shù)參數(shù)更新向量更新值函數(shù)參數(shù)可以保證算法收斂,解決經(jīng)典值迭代算法收斂不穩(wěn)定的問(wèn)題。(2)提出一種基于option自動(dòng)分層的啟發(fā)式值迭代算法。該算法在識(shí)別子目標(biāo)的過(guò)程中引入軌跡去環(huán)方法,減少樣本數(shù)據(jù),加快子目標(biāo)的識(shí)別,提高option集的構(gòu)造質(zhì)量。為了避免誤選子目標(biāo)的情況發(fā)生,算法引入均值限界的方法,降低子目標(biāo)周圍狀態(tài)的訪問(wèn)次數(shù),以提高子目標(biāo)識(shí)別的精度。此外,算法通過(guò)獎(jiǎng)賞塑造(Reward shaping)方法,構(gòu)建啟發(fā)式信息,加快算法的學(xué)習(xí)過(guò)程。在完成option集的構(gòu)造后,將option作為值迭代算法中抽象狀態(tài)的輸入,以求解問(wèn)題的最優(yōu)策略。(3)為了精確地預(yù)測(cè)建筑物未來(lái)時(shí)刻的能耗,提出一種基于值迭代算法的建筑能耗預(yù)測(cè)方法。由于值迭代算法無(wú)法處理連續(xù)的狀態(tài)空間問(wèn)題,因此本章節(jié)通過(guò)結(jié)合深度置信網(wǎng)(DBN)對(duì)建筑能耗進(jìn)行狀態(tài)估計(jì),并將輸出的狀態(tài)集作為值迭代算法的輸入,進(jìn)一步完成能耗建模及能耗預(yù)測(cè)。通過(guò)美國(guó)巴爾的摩燃?xì)夂碗娏居涊d的建筑能耗數(shù)據(jù)進(jìn)行測(cè)試實(shí)驗(yàn),實(shí)驗(yàn)結(jié)果表明,利用DBN的方法提取能耗的高階特征,能耗預(yù)測(cè)的準(zhǔn)確性明顯提高。此外,將第三章和第四章提出的兩種改進(jìn)的值迭代算法應(yīng)用于能耗預(yù)測(cè)實(shí)驗(yàn)中,進(jìn)一步驗(yàn)證算法的性能,由實(shí)驗(yàn)結(jié)果可知,兩種改進(jìn)的VI算法對(duì)能耗預(yù)測(cè)的精確性皆高于經(jīng)典VI算法。
【學(xué)位單位】：蘇州科技大學(xué)
【學(xué)位級(jí)別】：碩士
【學(xué)位年份】：2018
【中圖分類】：TU111.195
【部分圖文】：

蘇州科技大學(xué)碩士論文 第三章基于函數(shù)逼近的冗余值迭代算法定理3.1.在一個(gè)情節(jié)結(jié)束后，令d W作為值迭代算法關(guān)于參數(shù)W的批量更新的增量和，隨著算法迭代次數(shù)的增加，值迭代算法最終無(wú)法保證收斂。證明：在值迭代算法中，( , )max ( ') ( )x uR V x V x可能為正也可能為負(fù)。當(dāng)其為正時(shí)，說(shuō)明隨著迭代次數(shù)的增加，近似函數(shù)V ( x)朝增長(zhǎng)方向追趕目標(biāo)函數(shù)( , )max ( ')x uR V x，即算法沿著正梯度方向，導(dǎo)致目標(biāo)函數(shù)變大，向量d W在超平面（圖 3-1 中點(diǎn)狀線）的右邊，如圖 3-1 中(a)所示，算法最終發(fā)散；當(dāng)其值為負(fù)時(shí)，說(shuō)明隨著迭代次數(shù)的增加，近似函數(shù)V ( x)朝減小方向追趕目標(biāo)函數(shù)( , )max ( ')x uR V x，即算法沿著負(fù)梯度方向，導(dǎo)致目標(biāo)函數(shù)變小，向量d W在超平面的右邊，如圖 3-1 中(b)所示，算法最終收斂，當(dāng)d W越接近超平面，算法收斂越快。因此值迭代算法有時(shí)導(dǎo)致目標(biāo)函數(shù)變大，有時(shí)導(dǎo)致目標(biāo)函數(shù)減小，因此不能保證最終的收斂性。 證畢。

rg以及V ( x)和V ( x')的梯度都是向量，增量和是所有狀態(tài)更新的的方法，假設(shè)每個(gè)狀態(tài)里的樣本會(huì)被無(wú)數(shù)次訪問(wèn)，那么狀態(tài)每會(huì)隨之更新一次。在步長(zhǎng)參數(shù)滿足隨機(jī)逼近的條件下，rg W能小 Bellman 均方差上，圖 3-1 中向量rg W垂直于點(diǎn)狀線，表示快的方向，但是上述更新涉及到下一狀態(tài)x'，并且出現(xiàn)在相乘的個(gè)乘積的無(wú)偏樣本，需要下一狀態(tài)兩個(gè)獨(dú)立的樣本，但是在與能得到一個(gè)樣本，所以這個(gè)方法在實(shí)際應(yīng)用中只適用于確定性問(wèn)題中，并且利用 Bellman 冗余的值迭代算法與值迭代算法相。利用 Bellman 冗余的值迭代算法的收斂速率快慢的問(wèn)題，將ellman 冗余的值迭代算法應(yīng)用在圖 3-2 所示的星型問(wèn)題中。假10，當(dāng)從狀態(tài) 4 到狀態(tài) 5 的學(xué)習(xí)中，值迭代算法只會(huì)減小4w的n 冗余的值迭代算法會(huì)在減小4w值的同時(shí)還會(huì)增加5w的值，因的值迭代算法會(huì)導(dǎo)致學(xué)習(xí)朝兩個(gè)方向進(jìn)行，由公式(3.6)可知，誤方向上學(xué)習(xí)的情況，當(dāng) 值接近于 1 時(shí)，算法學(xué)習(xí)速率就會(huì)非

第三章基于函數(shù)0rg W 時(shí)，表明這個(gè)數(shù)量積是正的，則兩個(gè)向量量r W沿著負(fù)梯度的方向變化，隨著迭代次數(shù)的為 0 時(shí)，說(shuō)明算法的值函數(shù)是最優(yōu)的，即算法需要加快算法的收斂速度。 ，當(dāng)滿足 0r rg W W 的條件，算法能夠收斂到r W越接近超平面，算法收斂速度越快。由公式須要選擇一個(gè)合適的 值。 是 0 到 1 之間的一，且盡可能逼近超平面，既能保證算法收斂，漸逼近超平面，就需要選擇一個(gè)合適的速率來(lái) 所示。
【參考文獻(xiàn)】

相關(guān)期刊論文 前3條

1 黃蔚;劉全;孫洪坤;傅啟明;周小科;;基于拓?fù)湫蛄懈碌闹档惴╗J];通信學(xué)報(bào);2014年08期

2 石川;史忠植;王茂光;;基于路徑匹配的在線分層強(qiáng)化學(xué)習(xí)方法[J];計(jì)算機(jī)研究與發(fā)展;2008年09期

3 蘇暢;高陽(yáng);陳世福;陳兆乾;;基于SMDP環(huán)境的自主生成options算法的研究[J];模式識(shí)別與人工智能;2005年06期

相關(guān)博士學(xué)位論文 前1條

1 馮可梁;建筑能耗分析與決策方法及其在北京市應(yīng)用研究[D];北京理工大學(xué);2014年

本文編號(hào)：2854436