【摘要】：循環(huán)神經(jīng)網(wǎng)絡(luò)(Recurrent Neural Network,RNN)是目前最有前景的深度學(xué)習(xí)網(wǎng)絡(luò)之一,由RNN引申出的很多改進(jìn)結(jié)構(gòu)已經(jīng)被廣泛運(yùn)用在語(yǔ)音識(shí)別、機(jī)器翻譯和DNA序列分析等方向中。在智能電網(wǎng)領(lǐng)域中,收集用戶的行為數(shù)據(jù)并通過(guò)RNN或者基于RNN的改進(jìn)網(wǎng)絡(luò)進(jìn)行預(yù)測(cè)分析已成負(fù)荷預(yù)測(cè)的主流。在競(jìng)爭(zhēng)激烈的電力市場(chǎng)中,短期電力負(fù)荷的預(yù)測(cè)對(duì)于消費(fèi)者和生產(chǎn)者都至關(guān)重要,高準(zhǔn)確性的預(yù)測(cè)能幫助電力公司合理的規(guī)劃資源并及時(shí)采取適當(dāng)?shù)拇胧﹣?lái)平衡電力的供需關(guān)系,同時(shí)也可以為消費(fèi)者提供高性價(jià)比的電力服務(wù)。本文主要以電力負(fù)荷預(yù)測(cè)的基本理論為基礎(chǔ),提出一種與注意力機(jī)制相結(jié)合的RNN改進(jìn)網(wǎng)絡(luò)(即長(zhǎng)短期記憶網(wǎng)絡(luò)Long Short-Term Memory,LSTM)作為新的電力負(fù)荷預(yù)測(cè)模型,并將傳統(tǒng)LSTM網(wǎng)絡(luò)在準(zhǔn)確性和速度方面與本文提出的新模型進(jìn)行對(duì)比。利用實(shí)際的負(fù)荷數(shù)據(jù)在兩種模型中進(jìn)行仿真后,驗(yàn)證得到新型網(wǎng)絡(luò)結(jié)構(gòu)與傳統(tǒng)LSTM網(wǎng)絡(luò)相比在準(zhǔn)確性方面有了提升,訓(xùn)練時(shí)長(zhǎng)也有縮短。本文主要做了如下工作:(1)根據(jù)歷史負(fù)荷數(shù)據(jù)的特性以及輸入向量之間的相關(guān)性,搭建以RNN網(wǎng)絡(luò)為基礎(chǔ)的兩種不同的LSTM電力負(fù)荷預(yù)測(cè)模型。針對(duì)迭代后因激活函數(shù)求導(dǎo)后收斂而導(dǎo)致梯度消失的問(wèn)題,提出將傳統(tǒng)LSTM網(wǎng)絡(luò)與注意力機(jī)制相結(jié)合的解決方案,彌補(bǔ)了傳統(tǒng)LSTM網(wǎng)絡(luò)在梯度下降甚至消失的情況下引起的長(zhǎng)時(shí)記憶失效的缺陷。與傳統(tǒng)LSTM網(wǎng)絡(luò)采用遺忘門的結(jié)構(gòu)緩解梯度消失的方法不同,本文提出的模型主要依靠輸入向量動(dòng)態(tài)的分配權(quán)重完成對(duì)信號(hào)的實(shí)時(shí)控制來(lái)削弱梯度消失的影響。(2)針對(duì)所有輸入向量進(jìn)行數(shù)據(jù)預(yù)處理和歸一化的工作,并根據(jù)樣本數(shù)據(jù)的特性對(duì)神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)進(jìn)行設(shè)計(jì)。因?yàn)楂@取到的歷史數(shù)據(jù)有空缺和噪聲的現(xiàn)象,所以對(duì)輸入向量進(jìn)行添補(bǔ)和去噪的工作,減少了樣本數(shù)據(jù)因不符合模型而產(chǎn)生預(yù)測(cè)偏差的可能性。將輸入向量均衡化到一定范圍內(nèi),降低了由非常規(guī)樣本數(shù)據(jù)導(dǎo)致的不良影響,并通過(guò)控制變量法確定神經(jīng)網(wǎng)絡(luò)的超參數(shù)。(3)將處理過(guò)的樣本數(shù)據(jù)輸入傳統(tǒng)LSTM網(wǎng)絡(luò)和結(jié)合注意力機(jī)制的LSTM網(wǎng)絡(luò)兩種模型進(jìn)行仿真,選取相對(duì)誤差(Relative Error,RE)與絕對(duì)誤差(Absolute Error,AE)作為評(píng)判指標(biāo)。通過(guò)對(duì)比兩種模型的預(yù)測(cè)結(jié)果得到結(jié)合注意力機(jī)制的LSTM誤差相對(duì)更小的結(jié)論,從而證明了結(jié)合注意力機(jī)制的LSTM在電力負(fù)荷預(yù)測(cè)中可以提高預(yù)測(cè)的準(zhǔn)確率以及縮短訓(xùn)練時(shí)間。
【圖文】：

成都理工大學(xué)專業(yè)碩士學(xué)位論文輸入層隱含層輸出層圖 3-2 簡(jiǎn)易 RNN 的結(jié)構(gòu)-2 在時(shí)間維度上展開(kāi)后得到圖 3-3 所示的結(jié)構(gòu)，，從圖 3-3 中維度始終是一個(gè)不斷往后遞歸的過(guò)程，之前時(shí)刻的結(jié)果對(duì)著直接的影響，但因?yàn)樵诿總�(gè)時(shí)間步上的權(quán)值一樣，所以在共享同一組權(quán)值。

圖 3-4 隱含層接收到的全部輸入刻 RNN 輸出層的殘差項(xiàng)同普通神經(jīng)網(wǎng)絡(luò) MPL 一樣為t k 要接受上一個(gè)時(shí)刻來(lái)自隱含層的信號(hào)，而且在反向傳導(dǎo)時(shí)隱含層的反饋：( )t t t t1h h k hk h hhk h f a w w+ + 長(zhǎng)度為T ，則殘差T1 +均為 0，并且整個(gè)網(wǎng)絡(luò)只有一套參時(shí)刻 t 其倒數(shù)分別為：:tht th itih h ihO OaU xw a w :tkt tk hthk k hkO OaV bw a w :tht tk htO OaW b
【學(xué)位授予單位】：成都理工大學(xué)
【學(xué)位級(jí)別】：碩士
【學(xué)位授予年份】：2019
【分類號(hào)】：TM715;TP183

【相似文獻(xiàn)】

相關(guān)期刊論文 前10條

1 胡悅;;金融市場(chǎng)中的神經(jīng)網(wǎng)絡(luò)拐點(diǎn)預(yù)測(cè)法[J];金融經(jīng)濟(jì);2017年18期

2 遲惠生;陳珂;;1995年世界神經(jīng)網(wǎng)絡(luò)大會(huì)述評(píng)[J];國(guó)際學(xué)術(shù)動(dòng)態(tài);1996年01期

3 王方;苗放;陳墾;;基于優(yōu)化神經(jīng)網(wǎng)絡(luò)的地質(zhì)災(zāi)害監(jiān)測(cè)預(yù)警仿真[J];計(jì)算機(jī)仿真;2019年11期

4 馬猛;王明紅;;基于進(jìn)化神經(jīng)網(wǎng)絡(luò)的304不銹鋼車削加工表面粗糙度預(yù)測(cè)[J];輕工機(jī)械;2019年06期

5 莊連生;呂揚(yáng);楊健;李厚強(qiáng);;時(shí)頻聯(lián)合長(zhǎng)時(shí)循環(huán)神經(jīng)網(wǎng)絡(luò)[J];計(jì)算機(jī)研究與發(fā)展;2019年12期

6 吳立可;;脈沖神經(jīng)網(wǎng)絡(luò)和行為識(shí)別[J];通訊世界;2018年12期

7 林嘉應(yīng);鄭柏倫;劉捷;;基于卷積神經(jīng)網(wǎng)絡(luò)的船舶分類模型[J];信息技術(shù)與信息化;2019年02期

8 俞頌華;;卷積神經(jīng)網(wǎng)絡(luò)的發(fā)展與應(yīng)用綜述[J];信息通信;2019年02期

9 韓真;凱文·哈特尼特;;為神經(jīng)網(wǎng)絡(luò)的通用理論建造基石[J];世界科學(xué);2019年04期

10 鮑偉強(qiáng);陳娟;熊濤;;基于進(jìn)化神經(jīng)網(wǎng)絡(luò)的短期電力負(fù)荷預(yù)測(cè)研究[J];電工技術(shù);2019年11期

相關(guān)會(huì)議論文 前10條

1 孫軍田;張U

本文編號(hào)：2617292