發(fā)布時間：2017-04-10 18:45

  本文關鍵詞：回響狀態(tài)網絡及概念機網絡的儲備池模型優(yōu)化研究，，由筆耕文化傳播整理發(fā)布。

【摘要】：回響狀態(tài)網絡(echo state network,ESN)是一種典型的儲備池計算(reservoir computing,RC)模型,它將低維的輸入信號映射到一個高維的狀態(tài)空間,再通過簡單的線性回歸學習算法將高維的信息轉換為低維信號輸出。這個高維狀態(tài)空間就是儲備池,它大大減小了傳統(tǒng)人工神經網絡的計算復雜度并克服其記憶消減問題。儲備池作為關鍵的處理單元,其輸入編碼方式直接影響了輸出層的讀出精度。因此,儲備池模型優(yōu)化一直是該領域的一個嚴重熱點,也出現(xiàn)了許多復雜網絡模型。其中,皮質層多簇結構以其豐富的動態(tài)特性及其仿生性而備受關注。但網絡算法中存在的隨機性可能導致網絡計算能力存在較大波動,且算法參數難以調節(jié)。因而需要對儲備池進行進一步優(yōu)化。另一方面,最新提出的概念機遞歸神經網絡(Conceptor),它仍然采用儲備池計算,且其動力學模塊具有很好的可擴展性。但目前,其網絡結構設計單一,僅采用傳統(tǒng)的隨機網絡,且其節(jié)點耦合性較強,計算能力有限。因此,對于Conceptor網絡的儲備池優(yōu)化設計也尤為重要。對于ESN,我們提出了兩種儲備池優(yōu)化模型:一方面是在皮質層多簇結構的基礎上,結合動態(tài)學習算法對網絡進行結構調整,提出一種基于先驗數據導向的多簇儲備池,利用先驗數據樣本離線調整儲備池拓撲結構,使其更為適應該類計算任務。通過Mackey-Glass預測實驗發(fā)現(xiàn),相較于傳統(tǒng)隨機網絡和皮質層多簇網絡,基于先驗數據導向的多簇儲備池在精度上有明顯提高,并且具有更高的結構復雜度和小世界特性。另一方面,在多簇結構的基礎上,結合神經元的內部可塑性(intrinsic plasticity,IP)學習機制,提出基于內部可塑性的多簇儲備池。分析了兩種IP規(guī)則對神經元輸入響應的影響,并通過NARMA序列預測實驗驗證其有效性。通過IP學習的多簇儲備池突破了建網過程中的隨機性所造成的精度瓶頸,大大提高了隨機儲備池和皮質層多簇儲備池的預測精度,且基于李氏IP規(guī)則的多簇儲備池具有更為突出的精度優(yōu)勢。對于Conceptor網絡,通過研究復雜網絡結構,提出基于洛倫茲時間序列相空間重構的復雜網絡儲備池,分析網絡結構特性,對比該網絡與隨機網絡、皮質層多簇網絡對輸入模型的重構能力,實驗表明,相空間重構網絡對該信號的重構計算具有更小的誤差,且在改變載入模型數量的情況下,依然保持其優(yōu)勢。
【關鍵詞】：儲備池計算 復雜網絡 多簇 儲備池
【學位授予單位】：重慶大學
【學位級別】：碩士
【學位授予年份】：2016
【分類號】：TP18;O157.5
【目錄】：

• 摘要3-4
• abstract4-8
• 1 緒論8-12
• 1.1 儲備池計算研究背景及意義8
• 1.2 本課題國內外研究現(xiàn)狀8-11
• 1.3 本文主要研究內容11-12
• 2 儲備池神經計算模型12-24
• 2.1 引言12
• 2.2 回響狀態(tài)網絡（ESN）12-15
• 2.2.1 回響狀態(tài)神經網絡計算模型12-14
• 2.2.2 網絡訓練算法14-15
• 2.3 概念機遞歸神經網絡（Conceptor）15-22
• 2.3.1 概念機的計算機制模型16-19
• 2.3.2 概念機的邏輯操作19
• 2.3.3 自發(fā)式概念機計算模型19-20
• 2.3.4 概念機網絡的記憶管理20-22
• 2.4 本章小結22-24
• 3 基于先驗數據導向的多簇ESN儲備池24-38
• 3.1 皮質層多簇網絡24-28
• 3.1.1 皮質層多簇網絡構建算法24-26
• 3.1.2 復雜網絡基本測度26
• 3.1.3 網絡結構分析及參數選擇26-28
• 3.2 基于先驗數據導向的多簇儲備池28-29
• 3.3 Mackey-Glass混沌時間序列預測實驗29-37
• 3.3.1 實驗設計29-31
• 3.3.2 實驗結果及分析31-37
• 3.4 本章小結37-38
• 4 基于內部可塑性的多簇ESN儲備池38-48
• 4.1 神經元的內部可塑性38-39
• 4.2 兩種IP規(guī)則的算法分析39-42
• 4.3 基于IP規(guī)則的多簇ESN儲備池構建42
• 4.4 NARMA混沌時間序列預測實驗42-47
• 4.4.1 實驗設計42-44
• 4.4.2 實驗結果及分析44-47
• 4.5 本章小結47-48
• 5 基于相空間重構法的概念機儲備池計算48-66
• 5.1 根據時間序列構建復雜網絡48-55
• 5.1.1 可見圖法建網48-49
• 5.1.2 相空間重構法建網49-50
• 5.1.3 幾種時間序列的復雜網絡結構分析50-55
• 5.2 基于相空間重構網絡的概念機重構實驗55-62
• 5.2.1 自發(fā)性概念機的內容尋址記憶系統(tǒng)55-56
• 5.2.2 混合無理數周期正弦信號的重構實驗56-57
• 5.2.3 實驗結果及分析57-62
• 5.3 概念機遞歸神經網絡的延伸應用62-64
• 5.4 本章小結64-66
• 6 總結與展望66-68
• 6.1 總結66
• 6.2 展望66-68
• 致謝68-70
• 參考文獻70-76
• 附錄76
• A. 作者在攻讀碩士學位期間發(fā)表的論文76
• B. 作者在攻讀碩士學位期間參與的項目76

【相似文獻】

中國期刊全文數據庫 前3條

1 ;概念機種特別介紹[J];大眾科技;2003年01期

2 ;清雅脫俗DE日本最新概念機[J];科學大觀園;2004年10期

3 ;[J];;年期

中國重要報紙全文數據庫 前3條

1 上海 本壘打;移動的魔盒[N];電腦報;2002年

2 上海 顧鳴;異形來了[N];電腦報;2004年

3 本報記者 呂靜;3D電視：角色眾多的“獨角戲”[N];中國經營報;2010年

中國碩士學位論文全文數據庫 前1條

1 鐘玲;回響狀態(tài)網絡及概念機網絡的儲備池模型優(yōu)化研究[D];重慶大學;2016年

  本文關鍵詞：回響狀態(tài)網絡及概念機網絡的儲備池模型優(yōu)化研究，由筆耕文化傳播整理發(fā)布。

本文編號：297354