時間序列預測作為一項有挑戰(zhàn)性的任務,吸引了許多領域的研究人員深入研究�，F(xiàn)階段,有很多新的時序預測模型被提出,同時現(xiàn)有的模型也不斷被修改。這些研究的目的都是為了達到較高的預測準確性。隨著機器學習和深度學習的進步和發(fā)展,深度學習逐漸替代傳統(tǒng)模型,成為時序預測的主流方法。該方法的出現(xiàn)使時序預測達到了更高的準確率,與此同時,此類方法仍在不斷被改進,以解決更為復雜的時序分析問題。本文以RNN和ESN的理論為基礎,結合復雜網(wǎng)絡的相關知識,提出一種新的蓄水池計算模型,用于預測非線性時序系統(tǒng)。本文將提出的蓄水池計算模型分別應用在單一維度和多維度的時間序列預測中。模型主要由三個部分構成:輸入層,蓄水池計算網(wǎng)絡和輸出層。輸入層為全連接網(wǎng)絡,其權重在訓練過程中一直保持初始值,不再更新。輸出層也為全連接網(wǎng)絡,與輸入層不同,訓練過程中主要訓練該網(wǎng)絡的權重。位于兩個全連接網(wǎng)絡中間的蓄水池計算網(wǎng)絡可由三種網(wǎng)絡構成,分別為隨機網(wǎng)絡,無標度網(wǎng)絡和小世界網(wǎng)絡。除了蓄水池網(wǎng)絡本身的權重矩陣外,模型還引入了網(wǎng)絡節(jié)點狀態(tài)向量,該狀態(tài)向量結合權重矩陣的結構特點不斷更新,然后輸入到輸出層,最終的輸出結果由輸入數(shù)據(jù)和網(wǎng)絡節(jié)點狀態(tài)值共... 

【文章來源】：電子科技大學四川省 211工程院校 985工程院校 教育部直屬院校

【文章頁數(shù)】：94 頁

【學位級別】：碩士

【圖文】：

論文結構圖

電子科技大學碩士學位論文8第二章相關理論和技術本章對蓄水池計算的工作原理進行了詳細的介紹，其中包括模型的狀態(tài)參數(shù)更新機制和儲層網(wǎng)絡的結構控制。在本章中，討論了ER，SF和SW三種網(wǎng)絡的生成原理和方式。由于不同的蓄水池計算模型適用于不同的時間序列，因此本章還在介紹通用方法的基礎上，整理闡述了創(chuàng)新環(huán)節(jié)所依賴的相關理論。2.1蓄水池計算對于大多數(shù)的深度學習模型來說[55]，訓練權重矩陣的計算量非常大。與這些訓練所有權值矩陣的神經(jīng)網(wǎng)絡不同，蓄水池計算體系結構只需要訓練輸出權重網(wǎng)絡，而輸入網(wǎng)絡和蓄水池計算網(wǎng)絡卻不需要訓練。蓄水池計算模型最初以ESN[56]和LSM[6]的形式引入，并在多種高維時域應用中取得了成功[4,5,57,58]。由于儲層的動態(tài)性，蓄水池計算模型可在物理儲層[59]中實現(xiàn)，該硬件結構使用的是光子系統(tǒng)[60]或動態(tài)憶阻器[61]。圖2-1標準蓄水池計算示意圖標準蓄水池計算模型的主要結構如圖2-1所示。在圖2-1中，將輸入層的輸入向量投影到蓄水池網(wǎng)絡中，從輸出層讀出輸出向量。和兩者都是未經(jīng)訓練的，而只有參與訓練。在t時刻，非線性節(jié)點網(wǎng)絡作為蓄水池網(wǎng)絡，提供了一個維輸入向量tx到另一個維輸出向量的非線性映射。在蓄水池網(wǎng)絡內(nèi)部，內(nèi)部節(jié)點相互連接構成有向網(wǎng)絡，其中網(wǎng)絡的連通性被描述為鄰接矩陣∈×，其中=||為蓄水池網(wǎng)絡的大校權重矩陣中的每個元素是隨機初始化的，在訓練期間保持不變。輸入層是輸入向量和蓄水池網(wǎng)絡內(nèi)部節(jié)點之間的全連接層。同樣，輸出層也是與輸出向量和蓄水

電子科技大學碩士學位論文10SW網(wǎng)絡，將這三種復雜網(wǎng)絡作為蓄水池計算網(wǎng)絡的基本結構。為了更有效地生成結構，本文使用PythonNetworkx包作為網(wǎng)絡生成器。ER網(wǎng)絡是在1960年的一篇論文中提出的[63]。ER網(wǎng)絡是一種復雜網(wǎng)絡，在早期已經(jīng)有了大量的研究。ER網(wǎng)絡是大多數(shù)隨機網(wǎng)絡的基礎，它的每個節(jié)點用于替代蓄水池計算網(wǎng)絡中的神經(jīng)元。作為一個圖形模型(,)，是網(wǎng)絡的節(jié)點數(shù)量，為兩個節(jié)點間建立一條邊的概率。網(wǎng)絡是有向圖，因此蓄水池計算網(wǎng)絡的權重同等于ER網(wǎng)絡的鄰接矩陣。在ER網(wǎng)絡中，建立M條邊的概率相等，分別為：(1)（2-6）如圖2-2所示，生成了大小相同，參數(shù)不同的ER網(wǎng)絡。網(wǎng)絡呈現(xiàn)出建邊概率越高，網(wǎng)絡密度就越高的特性。（a）N=20,p=0.02（b）N=20,p=0.05（c）N=20,p=0.08圖2-2不同參數(shù)下的ER網(wǎng)絡基本圖SF是無標度（ScaleFree）的縮寫。SF網(wǎng)絡是由Barabasi和Albert在1999年提出的[64]。無標度網(wǎng)絡有兩個基本特征，一是網(wǎng)絡可以通過增加新的頂點來不斷擴展，另一個是新的頂點優(yōu)先連接到已經(jīng)存在連接的頂點上。這兩個特征導致大多數(shù)頂點只有幾個連接，而一些頂點與其他頂點存在大量的連接，而這些具有大量連接的頂點可能有數(shù)百個、數(shù)千個甚至數(shù)百萬個連接。要生成SF網(wǎng)絡，需要設置三個參數(shù)。節(jié)點數(shù)設為N。根據(jù)度分布，隨機選擇一個現(xiàn)有節(jié)點，加入一個新節(jié)點的概率為；根據(jù)度分布，隨機選擇一個現(xiàn)有節(jié)點，兩個現(xiàn)有節(jié)點之間的增加一條邊的概率為；根據(jù)度分布，隨機選擇一個現(xiàn)有節(jié)點，加入一個新節(jié)點的概率。有向圖允許兩點之間有多條邊，圖中存在循環(huán)的情況。上述參數(shù)限制如下：++=1（2-7）Barabasi和Albert無標度網(wǎng)絡是一個特例：==0（2-8）=1（2-9）


本文編號：3426314