時間序列預(yù)測作為一項有挑戰(zhàn)性的任務(wù),吸引了許多領(lǐng)域的研究人員深入研究�，F(xiàn)階段,有很多新的時序預(yù)測模型被提出,同時現(xiàn)有的模型也不斷被修改。這些研究的目的都是為了達到較高的預(yù)測準(zhǔn)確性。隨著機器學(xué)習(xí)和深度學(xué)習(xí)的進步和發(fā)展,深度學(xué)習(xí)逐漸替代傳統(tǒng)模型,成為時序預(yù)測的主流方法。該方法的出現(xiàn)使時序預(yù)測達到了更高的準(zhǔn)確率,與此同時,此類方法仍在不斷被改進,以解決更為復(fù)雜的時序分析問題。本文以RNN和ESN的理論為基礎(chǔ),結(jié)合復(fù)雜網(wǎng)絡(luò)的相關(guān)知識,提出一種新的蓄水池計算模型,用于預(yù)測非線性時序系統(tǒng)。本文將提出的蓄水池計算模型分別應(yīng)用在單一維度和多維度的時間序列預(yù)測中。模型主要由三個部分構(gòu)成:輸入層,蓄水池計算網(wǎng)絡(luò)和輸出層。輸入層為全連接網(wǎng)絡(luò),其權(quán)重在訓(xùn)練過程中一直保持初始值,不再更新。輸出層也為全連接網(wǎng)絡(luò),與輸入層不同,訓(xùn)練過程中主要訓(xùn)練該網(wǎng)絡(luò)的權(quán)重。位于兩個全連接網(wǎng)絡(luò)中間的蓄水池計算網(wǎng)絡(luò)可由三種網(wǎng)絡(luò)構(gòu)成,分別為隨機網(wǎng)絡(luò),無標(biāo)度網(wǎng)絡(luò)和小世界網(wǎng)絡(luò)。除了蓄水池網(wǎng)絡(luò)本身的權(quán)重矩陣外,模型還引入了網(wǎng)絡(luò)節(jié)點狀態(tài)向量,該狀態(tài)向量結(jié)合權(quán)重矩陣的結(jié)構(gòu)特點不斷更新,然后輸入到輸出層,最終的輸出結(jié)果由輸入數(shù)據(jù)和網(wǎng)絡(luò)節(jié)點狀態(tài)值共... 

【文章來源】：電子科技大學(xué)四川省 211工程院校 985工程院校 教育部直屬院校

【文章頁數(shù)】：94 頁

【學(xué)位級別】：碩士

【圖文】：

論文結(jié)構(gòu)圖

電子科技大學(xué)碩士學(xué)位論文8第二章相關(guān)理論和技術(shù)本章對蓄水池計算的工作原理進行了詳細的介紹，其中包括模型的狀態(tài)參數(shù)更新機制和儲層網(wǎng)絡(luò)的結(jié)構(gòu)控制。在本章中，討論了ER，SF和SW三種網(wǎng)絡(luò)的生成原理和方式。由于不同的蓄水池計算模型適用于不同的時間序列，因此本章還在介紹通用方法的基礎(chǔ)上，整理闡述了創(chuàng)新環(huán)節(jié)所依賴的相關(guān)理論。2.1蓄水池計算對于大多數(shù)的深度學(xué)習(xí)模型來說[55]，訓(xùn)練權(quán)重矩陣的計算量非常大。與這些訓(xùn)練所有權(quán)值矩陣的神經(jīng)網(wǎng)絡(luò)不同，蓄水池計算體系結(jié)構(gòu)只需要訓(xùn)練輸出權(quán)重網(wǎng)絡(luò)，而輸入網(wǎng)絡(luò)和蓄水池計算網(wǎng)絡(luò)卻不需要訓(xùn)練。蓄水池計算模型最初以ESN[56]和LSM[6]的形式引入，并在多種高維時域應(yīng)用中取得了成功[4,5,57,58]。由于儲層的動態(tài)性，蓄水池計算模型可在物理儲層[59]中實現(xiàn)，該硬件結(jié)構(gòu)使用的是光子系統(tǒng)[60]或動態(tài)憶阻器[61]。圖2-1標(biāo)準(zhǔn)蓄水池計算示意圖標(biāo)準(zhǔn)蓄水池計算模型的主要結(jié)構(gòu)如圖2-1所示。在圖2-1中，將輸入層的輸入向量投影到蓄水池網(wǎng)絡(luò)中，從輸出層讀出輸出向量。和兩者都是未經(jīng)訓(xùn)練的，而只有參與訓(xùn)練。在t時刻，非線性節(jié)點網(wǎng)絡(luò)作為蓄水池網(wǎng)絡(luò)，提供了一個維輸入向量tx到另一個維輸出向量的非線性映射。在蓄水池網(wǎng)絡(luò)內(nèi)部，內(nèi)部節(jié)點相互連接構(gòu)成有向網(wǎng)絡(luò)，其中網(wǎng)絡(luò)的連通性被描述為鄰接矩陣∈×，其中=||為蓄水池網(wǎng)絡(luò)的大校權(quán)重矩陣中的每個元素是隨機初始化的，在訓(xùn)練期間保持不變。輸入層是輸入向量和蓄水池網(wǎng)絡(luò)內(nèi)部節(jié)點之間的全連接層。同樣，輸出層也是與輸出向量和蓄水

電子科技大學(xué)碩士學(xué)位論文10SW網(wǎng)絡(luò)，將這三種復(fù)雜網(wǎng)絡(luò)作為蓄水池計算網(wǎng)絡(luò)的基本結(jié)構(gòu)。為了更有效地生成結(jié)構(gòu)，本文使用PythonNetworkx包作為網(wǎng)絡(luò)生成器。ER網(wǎng)絡(luò)是在1960年的一篇論文中提出的[63]。ER網(wǎng)絡(luò)是一種復(fù)雜網(wǎng)絡(luò)，在早期已經(jīng)有了大量的研究。ER網(wǎng)絡(luò)是大多數(shù)隨機網(wǎng)絡(luò)的基礎(chǔ)，它的每個節(jié)點用于替代蓄水池計算網(wǎng)絡(luò)中的神經(jīng)元。作為一個圖形模型(,)，是網(wǎng)絡(luò)的節(jié)點數(shù)量，為兩個節(jié)點間建立一條邊的概率。網(wǎng)絡(luò)是有向圖，因此蓄水池計算網(wǎng)絡(luò)的權(quán)重同等于ER網(wǎng)絡(luò)的鄰接矩陣。在ER網(wǎng)絡(luò)中，建立M條邊的概率相等，分別為：(1)（2-6）如圖2-2所示，生成了大小相同，參數(shù)不同的ER網(wǎng)絡(luò)。網(wǎng)絡(luò)呈現(xiàn)出建邊概率越高，網(wǎng)絡(luò)密度就越高的特性。（a）N=20,p=0.02（b）N=20,p=0.05（c）N=20,p=0.08圖2-2不同參數(shù)下的ER網(wǎng)絡(luò)基本圖SF是無標(biāo)度（ScaleFree）的縮寫。SF網(wǎng)絡(luò)是由Barabasi和Albert在1999年提出的[64]。無標(biāo)度網(wǎng)絡(luò)有兩個基本特征，一是網(wǎng)絡(luò)可以通過增加新的頂點來不斷擴展，另一個是新的頂點優(yōu)先連接到已經(jīng)存在連接的頂點上。這兩個特征導(dǎo)致大多數(shù)頂點只有幾個連接，而一些頂點與其他頂點存在大量的連接，而這些具有大量連接的頂點可能有數(shù)百個、數(shù)千個甚至數(shù)百萬個連接。要生成SF網(wǎng)絡(luò)，需要設(shè)置三個參數(shù)。節(jié)點數(shù)設(shè)為N。根據(jù)度分布，隨機選擇一個現(xiàn)有節(jié)點，加入一個新節(jié)點的概率為；根據(jù)度分布，隨機選擇一個現(xiàn)有節(jié)點，兩個現(xiàn)有節(jié)點之間的增加一條邊的概率為；根據(jù)度分布，隨機選擇一個現(xiàn)有節(jié)點，加入一個新節(jié)點的概率。有向圖允許兩點之間有多條邊，圖中存在循環(huán)的情況。上述參數(shù)限制如下：++=1（2-7）Barabasi和Albert無標(biāo)度網(wǎng)絡(luò)是一個特例：==0（2-8）=1（2-9）


本文編號：3426314