渭河作為陜西人民的“母親河”,隨著水資源供需矛盾日益尖銳,渭河水量調(diào)度管理與決策的多目標(biāo)性將愈來愈被關(guān)注,圍繞著渭河水量調(diào)度工作的實(shí)際需求,渭河流域的徑流預(yù)測成為渭河水量調(diào)度多目標(biāo)協(xié)同調(diào)控模式研究與構(gòu)建中的關(guān)鍵一環(huán),開發(fā)能夠適應(yīng)環(huán)境變化的多尺度預(yù)測模型顯得尤為迫切。本論文采用集成經(jīng)驗(yàn)?zāi)B(tài)分解與長短時(shí)記憶網(wǎng)絡(luò),以渭河干流魏家堡、咸陽、華縣斷面為例針對不同預(yù)測尺度分別建立滾動預(yù)測模型。并分別建立了基于深度神經(jīng)網(wǎng)絡(luò)的重構(gòu)模型,提升了滾動預(yù)測模型的預(yù)測精度。本文的主要研究成果如下:(1)本文分析了 EMD與EEMD分解算法的不同,研究深度學(xué)習(xí)算法原理,分析RNN與LSTM在時(shí)間序列預(yù)測中的應(yīng)用范圍,建立基于EEMD-LSTM的渭河干流多尺度徑流預(yù)測模型;(2)使用EEMD算法將斷面年徑流數(shù)據(jù)進(jìn)行分解后的序列分別使用LSTM和BP神經(jīng)網(wǎng)絡(luò)進(jìn)行滾動預(yù)測,將滾動預(yù)測后的各序列利用EEMD算法的完備性重構(gòu),對比驗(yàn)證指標(biāo)得到EEMD-LSTM-SUM長期模型預(yù)測精度優(yōu)于EEMD-BP-SUM長期預(yù)測模型。為解決部分IMF序列在滾動預(yù)測中擬合度較差所導(dǎo)致的誤差,使用深度神經(jīng)網(wǎng)絡(luò)建立長期預(yù)測重構(gòu)模型,剔除部分不擬合序列,為降低剔除部分序列帶來的信息丟失,將85%置信區(qū)間內(nèi)的徑流作為新增輸入,通過對比分析,基于深度神經(jīng)網(wǎng)絡(luò)的重構(gòu)模型提高了模型的預(yù)測精度。在模型驗(yàn)證階段,EEMD-LSTM-DNN長期預(yù)測模型在魏家堡、咸陽和華縣斷面測試集上的NSE分別為0.380、0.480和0.213,MAE分別為23.399m3/s、27.141m3/s 和 41.493m3/s;(3)在中期徑流預(yù)測中,由于數(shù)據(jù)量增多,在使用LSTM神經(jīng)網(wǎng)絡(luò)進(jìn)行滾動預(yù)測時(shí)全連接層中隱藏層的設(shè)置可以選擇1至2層,通過與BP神經(jīng)網(wǎng)絡(luò)對比得到EEMD-LSTM-SUM中期模型預(yù)測精度優(yōu)于EEMD-BP-SUM中期預(yù)測模型,但模型在部分?jǐn)嗝娉霈F(xiàn)了預(yù)測值為負(fù)數(shù)的現(xiàn)象。在使用深度神經(jīng)網(wǎng)絡(luò)重構(gòu)時(shí),為了避免了預(yù)測值出現(xiàn)負(fù)數(shù)的現(xiàn)象將Leaky Relu激活函數(shù)應(yīng)用于中期預(yù)測的深度神經(jīng)網(wǎng)絡(luò)重構(gòu)模型中,重構(gòu)模型的新增輸入為95%置信區(qū)間內(nèi)的徑流,通過深度神經(jīng)網(wǎng)絡(luò)重構(gòu)的模型預(yù)測精度優(yōu)于求和重構(gòu)的預(yù)測模型。在模型驗(yàn)證階段,EEMD-LSTM-DNN中期預(yù)測模型在魏家堡、咸陽和華縣斷面測試集上的NSE分0.769、0.854和0.896,MAE分別為36.821m3/s、38.559m3/s 和 68.208m3/s;(4)在短期徑流預(yù)測中,EEMD-LSTM-SUM模型精度優(yōu)于EEMD-BP-SUM神經(jīng)網(wǎng)絡(luò)滾動預(yù)測模型,但預(yù)測結(jié)果也出現(xiàn)了為負(fù)數(shù)的現(xiàn)象。使用深度神經(jīng)網(wǎng)絡(luò)進(jìn)行重構(gòu)時(shí)同樣使用了 Leaky Relu激活函數(shù)來避免預(yù)測結(jié)果出現(xiàn)負(fù)數(shù)的現(xiàn)象,與中長期重構(gòu)模型不同的是,短期徑流預(yù)測重構(gòu)模型的新增輸入是通過與上游斷面歷史徑流數(shù)據(jù)進(jìn)行相關(guān)性系數(shù)計(jì)算后選取的相關(guān)性最大的上游斷面歷史徑流數(shù)據(jù),通過對比分析通過深度學(xué)習(xí)重構(gòu)的模型預(yù)測精度優(yōu)于通過求和重構(gòu)的預(yù)測模型。在模型驗(yàn)證階段,EEMD-LSTM-DNN短期預(yù)測模型在魏家堡、咸陽和華縣斷面測試集上的NSE分別為0.902、0.817和0.904,MAE分別為 30.987m3/s、43.129m3/s 和 36.058m3/s。
【學(xué)位單位】：西安理工大學(xué)
【學(xué)位級別】：碩士
【學(xué)位年份】：2020
【中圖分類】：P338
【部分圖文】：

器學(xué)習(xí)方式，是在神經(jīng)網(wǎng)絡(luò)的基礎(chǔ)上發(fā)展形成的機(jī)器學(xué)習(xí)方式[50]。神經(jīng)網(wǎng)絡(luò)是受到生物神經(jīng)網(wǎng)絡(luò)的啟發(fā)而誕生的，人工神經(jīng)網(wǎng)絡(luò)模擬了這個(gè)過程[51]，而深度學(xué)習(xí)是以傳統(tǒng)神經(jīng)網(wǎng)絡(luò)技術(shù)為基礎(chǔ)而誕生的。神經(jīng)網(wǎng)絡(luò)的最小單位為感知機(jī)，在對訓(xùn)練數(shù)據(jù)的擬合過程中，是先對輸入數(shù)據(jù)進(jìn)行線性變換后再進(jìn)行非線性激活的過程。神經(jīng)網(wǎng)絡(luò)的最小單位是感知機(jī)，在擬合訓(xùn)練數(shù)據(jù)的過程中，在非線性激活之前對輸入數(shù)據(jù)進(jìn)行線性變換，只有一層功能神經(jīng)元，因此其學(xué)習(xí)能力非常有限，但是當(dāng)集成大量感知機(jī)時(shí)，神經(jīng)網(wǎng)絡(luò)的出現(xiàn)極大地提高了學(xué)習(xí)能力[52]。圖2-1神經(jīng)網(wǎng)絡(luò)神經(jīng)元結(jié)構(gòu)示意圖Fig.2-1Schematicdiagramofneuralnetworkneuronstructure如圖2-1為神經(jīng)網(wǎng)絡(luò)神經(jīng)元結(jié)構(gòu)示意圖，ix為神經(jīng)元的輸入值，ijw為神經(jīng)元的連接權(quán)重，b為偏置，zg)(為激活函數(shù)，為輸出值。神經(jīng)網(wǎng)絡(luò)中正向傳播時(shí)的線性變換為：=ixijw（2-3）式中：z為線性變換的輸出值。神經(jīng)網(wǎng)絡(luò)在線性變換后使用激活函數(shù)的原因是，如果沒有激活函數(shù)，則神經(jīng)網(wǎng)絡(luò)的下一層的輸入就是前一層的線性變換的輸出，而網(wǎng)絡(luò)中都是線性變換，那么輸入輸出都是線性關(guān)系，與隱藏層深度相關(guān)性不大，那么網(wǎng)絡(luò)的擬合性能就與感知機(jī)類似。因此，使用非線性函數(shù)作為激活函數(shù)可以提高深度神經(jīng)網(wǎng)絡(luò)的逼近能力，使其輸出不再是輸入的線性變化而是更加靈活的非線性變換[53][54][55]。2.2.1神經(jīng)網(wǎng)絡(luò)激活函數(shù)神經(jīng)網(wǎng)絡(luò)中常用的激活函數(shù)有Sigmoid、Relu和Tanh。其中最常用的是Sigmoid激活函數(shù)[56]，Sigmoid是將∞,∞映射到（0,1）的非線性轉(zhuǎn)換，Sigmoid的均值為0。=（2-4）

EEMD與深度學(xué)習(xí)原理9Tanh激活函數(shù)是將∞,∞映射到(-1,1)之間的非線性轉(zhuǎn)換[57]。Tanh在0附近是可以被看做為線性的，均值為0.5。=（2-5）Relu激活函數(shù)是分段函數(shù)，當(dāng)輸入為正時(shí)，沒有梯度消失的問題。Relu可以彌補(bǔ)Sigmoid和Tanh的梯度消失問題。=,紈,（2-6）式中：e為自然常數(shù)。2.2.2深度神經(jīng)網(wǎng)絡(luò)深度神經(jīng)網(wǎng)絡(luò)是含有多個(gè)隱藏層的神經(jīng)網(wǎng)絡(luò)，在訓(xùn)練過程中，使用反向傳播算法根據(jù)梯度下降擬合訓(xùn)練數(shù)據(jù)。它與淺層神經(jīng)網(wǎng)絡(luò)不同的是，淺層神經(jīng)網(wǎng)絡(luò)在擬合數(shù)據(jù)時(shí)需要借助指數(shù)級別的參數(shù)數(shù)量才能達(dá)到理想效果，而深度神經(jīng)網(wǎng)絡(luò)僅僅需要多項(xiàng)式級別的參數(shù)數(shù)量即可達(dá)到相同的效果[58]。如圖2-2，深度神經(jīng)網(wǎng)絡(luò)除輸入層與輸出層外還增加了多層隱藏層，在學(xué)習(xí)數(shù)據(jù)時(shí)使神經(jīng)網(wǎng)絡(luò)具有更強(qiáng)的學(xué)習(xí)能力。圖2-2深度神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)示意圖Fig.2-2Schematicdiagramofdeepneuralnetworkstructure2.2.3循環(huán)神經(jīng)網(wǎng)絡(luò)與長短時(shí)記憶網(wǎng)絡(luò)循環(huán)神經(jīng)網(wǎng)絡(luò)（RNN）[59]也被稱作遞歸神經(jīng)網(wǎng)絡(luò)，是將序列作為輸入的序列模型，隱藏節(jié)點(diǎn)呈鏈?zhǔn)竭B接，隱藏層的輸入不僅包括輸入層的輸入還包括上一層上一時(shí)刻的隱藏層的輸出即當(dāng)前的輸出也與之前的輸入有關(guān)，是一種能夠適應(yīng)連續(xù)時(shí)間步之間依賴關(guān)系的方法，通過前向傳播和后向傳播算法的迭代訓(xùn)練來擬合序列模型。

西安理工大學(xué)工程碩士專業(yè)學(xué)位論文10圖2-4循環(huán)神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)示意圖Fig.2-4Schematicdiagramofrecurrentneuralnetworkstructure如圖2-4所示為第t步的輸出，為第t步的隱藏狀態(tài)，為第t步的輸入，A為神經(jīng)元與狀態(tài)存儲器，t-1步會將狀態(tài)傳給第t步。在訓(xùn)練循環(huán)神經(jīng)網(wǎng)絡(luò)時(shí)，循環(huán)神經(jīng)網(wǎng)絡(luò)的梯度計(jì)算使用了與時(shí)間相關(guān)的反向傳播算法BPTT，其基本原理與BP相同[60]。循環(huán)神經(jīng)網(wǎng)絡(luò)在反向傳播時(shí)使用梯度下降算法隨著迭代次數(shù)的增加在連乘時(shí)會出現(xiàn)梯度消失或梯度爆炸的問題[61]，影響迭代訓(xùn)練。且RNN的隱藏層只含有一個(gè)狀態(tài)無法記憶長序列數(shù)據(jù)，所以只對短序列的數(shù)據(jù)較為敏感，很難處理長序列的數(shù)據(jù)[62]。長短時(shí)記憶網(wǎng)絡(luò)解決了這一問題。與實(shí)時(shí)遞歸學(xué)習(xí)、時(shí)間反向傳播、遞歸級聯(lián)相關(guān)、Elman網(wǎng)和神經(jīng)序列分塊相比，長短時(shí)記憶網(wǎng)絡(luò)可以多次運(yùn)行，學(xué)習(xí)速度加快，還解決了以前的遞歸網(wǎng)絡(luò)算法從未解決過的復(fù)雜時(shí)間滯后任務(wù)[63]。圖2-5為長短時(shí)記憶網(wǎng)絡(luò)神經(jīng)元結(jié)構(gòu)示意圖。圖2-5長短時(shí)記憶網(wǎng)絡(luò)神經(jīng)元結(jié)構(gòu)示意圖Fig.2-5Schematicdiagramoflongandshort-termmemorynetworkneuronstructure長短時(shí)記憶網(wǎng)絡(luò)又被稱作LSTM，LSTM在RNN的隱藏層中又加入了一個(gè)新的隱藏狀態(tài)C來保存長期的記憶，狀態(tài)C中存在遺忘門、輸入門和輸出門[62]。這三個(gè)單元提供類似于存儲芯片的操作，用于讀取，寫入和重置神經(jīng)元[64]。在向前傳播的過程中，輸入門激活值接近于0長時(shí)間處于半關(guān)閉狀態(tài)，輸出門保持開啟，那么后期的輸入信息就不會覆蓋前期的信息，從而緩解了RNN中的一些梯度問題[64]。如圖2-5所示，遺忘門由Sigmoid激活函數(shù)來將權(quán)重控制在0到1之間：=（2-7）式中：為遺忘門，t為時(shí)刻，σ為Sigmoid激活函數(shù)，W為遺忘門的循環(huán)權(quán)重，是當(dāng)前隱藏狀態(tài)，是當(dāng)前輸入，U為輸入權(quán)重，為偏置。
【參考文獻(xiàn)】

相關(guān)期刊論文 前10條

1 何昳穎;陳曉宏;張?jiān)?丁華龍;;BP人工神經(jīng)網(wǎng)絡(luò)在小流域徑流模擬中的應(yīng)用[J];水文;2015年05期

2 張瀟;夏自強(qiáng);黃峰;陳啟慧;;基于SSA-ARIMA模型的青弋江干流徑流預(yù)測[J];中國農(nóng)村水利水電;2015年03期

3 尹寶才;王文通;王立春;;深度學(xué)習(xí)研究綜述[J];北京工業(yè)大學(xué)學(xué)報(bào);2015年01期

4 周婭;郭萍;古今今;;基于BP神經(jīng)網(wǎng)絡(luò)的概率徑流預(yù)測模型[J];水力發(fā)電學(xué)報(bào);2014年02期

5 章國勇;伍永剛;楊林明;王鵬飛;;基于參數(shù)優(yōu)化的EEMD-LSSVM年徑流組合預(yù)測模型[J];水資源與水工程學(xué)報(bào);2013年06期

6 孫志軍;薛磊;許陽明;王正;;深度學(xué)習(xí)研究綜述[J];計(jì)算機(jī)應(yīng)用研究;2012年08期

7 王宏偉;張鑫;邱俊楠;孫天青;;基于GA-SVR的中長期徑流預(yù)報(bào)[J];西北農(nóng)林科技大學(xué)學(xué)報(bào)(自然科學(xué)版);2012年02期

8 毛健;趙紅東;姚婧婧;;人工神經(jīng)網(wǎng)絡(luò)的發(fā)展及應(yīng)用[J];電子設(shè)計(jì)工程;2011年24期

9 舒衛(wèi)民;馬光文;黃煒斌;黃鷺;張洪量;;基于人工神經(jīng)網(wǎng)絡(luò)的梯級水電站群調(diào)度規(guī)則研究[J];水力發(fā)電學(xué)報(bào);2011年02期

10 李晶;欒爽;尤明慧;;人工神經(jīng)網(wǎng)絡(luò)原理簡介[J];現(xiàn)代教育科學(xué);2010年S1期

相關(guān)碩士學(xué)位論文 前6條

1 陳璐;基于LSTM模型的金融時(shí)間序列預(yù)測算法研究[D];哈爾濱工業(yè)大學(xué);2019年

2 馮銳;基于LSTM模型的九龍江流域徑流序列預(yù)測研究[D];長安大學(xué);2019年

3 左崗崗;基于機(jī)器學(xué)習(xí)的渭河流域徑流預(yù)測系統(tǒng)研究[D];西安理工大學(xué);2017年

4 王鑫;諾敏河流域徑流變化規(guī)律分析及預(yù)報(bào)方法研究[D];東北農(nóng)業(yè)大學(xué);2014年

5 孟繁林;集合經(jīng)驗(yàn)?zāi)B(tài)分解的理論及應(yīng)用研究[D];江蘇科技大學(xué);2013年

6 吳昌友;神經(jīng)網(wǎng)絡(luò)的研究及應(yīng)用[D];東北農(nóng)業(yè)大學(xué);2007年

本文編號：2866682