發(fā)布時(shí)間：2021-05-24 01:22

　　儲(chǔ)備池計(jì)算（Reservoir Computing）模型結(jié)構(gòu)簡(jiǎn)單、訓(xùn)練高效,是一種訓(xùn)練循環(huán)神經(jīng)網(wǎng)絡(luò)的新型計(jì)算方法。目前已經(jīng)在動(dòng)態(tài)系統(tǒng)識(shí)別、時(shí)間序列預(yù)測(cè)等領(lǐng)域中得到了廣泛的應(yīng)用。然而,相比于深層次的深度學(xué)習(xí)模型,儲(chǔ)備池計(jì)算模型層次結(jié)構(gòu)單一化（只有隨機(jī)固定的單個(gè)隱含層）,唯一需要訓(xùn)練的網(wǎng)絡(luò)輸出權(quán)值也僅僅依賴于簡(jiǎn)單的回歸工具。因此儲(chǔ)備池計(jì)算目前還尚未能應(yīng)用于更廣泛的時(shí)間序列應(yīng)用領(lǐng)域,例如動(dòng)作識(shí)別。本文擬基于典型的儲(chǔ)備池計(jì)算模型——回聲狀態(tài)網(wǎng)絡(luò)（Echo State Network,ESN）,探索儲(chǔ)備池計(jì)算與深度學(xué)習(xí)在模型思想、技術(shù)等方面結(jié)合的可能性,提出兩種新型的深度儲(chǔ)備池計(jì)算模型。具體地,本文研究工作主要包括在以下兩個(gè)方面:1)提出一種新型的層次化儲(chǔ)備池計(jì)算模型——深度儲(chǔ)備池網(wǎng)絡(luò)（Deep Reservoir Network,DRN）。該模型通過多重投影與編碼的交替方式疊加儲(chǔ)備池和無監(jiān)督編碼器。各層的儲(chǔ)備池與最后的輸出層之間均有需要學(xué)習(xí)的輸出連邊,并且這些輸出連邊的權(quán)值可以通過簡(jiǎn)單的回歸方程求解。該模型在保證傳統(tǒng)儲(chǔ)備池計(jì)算簡(jiǎn)單、高效的學(xué)習(xí)特點(diǎn)（不依賴于時(shí)間方向上的梯度反向傳播過程）的同時(shí),... 

【文章來源】：華南理工大學(xué)廣東省 211工程院校 985工程院校 教育部直屬院校

【文章頁數(shù)】：82 頁

【學(xué)位級(jí)別】：碩士

【文章目錄】：
摘要
Abstract
第一章 緒論
    1.1 研究背景及意義
    1.2 國內(nèi)外研究動(dòng)態(tài)
    1.3 研究動(dòng)態(tài)分析與總結(jié)
    1.4 本文主要研究?jī)?nèi)容及其安排
第二章 儲(chǔ)備池計(jì)算模型基礎(chǔ)
    2.1 回聲狀態(tài)網(wǎng)絡(luò)模型
    2.2 儲(chǔ)備池中的超參數(shù)
    2.3 儲(chǔ)備池系統(tǒng)的穩(wěn)定性條件
    2.4 本章小結(jié)
第三章 基于多重投影編碼的深度儲(chǔ)備池網(wǎng)絡(luò)
    3.1 研究動(dòng)機(jī)
    3.2 深度儲(chǔ)備池網(wǎng)絡(luò)
    3.3 編碼器的選擇
    3.4 超參數(shù)優(yōu)化
    3.5 穩(wěn)定性分析
    3.6 實(shí)驗(yàn)部分
        3.6.1 時(shí)間序列預(yù)測(cè)實(shí)驗(yàn)
        3.6.2 拓展多項(xiàng)式系統(tǒng)的識(shí)別實(shí)驗(yàn)
        3.6.3 超參數(shù)靈敏度分析實(shí)驗(yàn)
        3.6.4 多尺度動(dòng)態(tài)的可視化分析
    3.7 本章小結(jié)
第四章 基于卷積回聲狀態(tài)網(wǎng)絡(luò)的時(shí)序分類模型
    4.1 研究動(dòng)機(jī)
    4.2 卷積回聲狀態(tài)網(wǎng)絡(luò)
        4.2.1 基于儲(chǔ)備池系統(tǒng)的回聲狀態(tài)編碼
        4.2.2 基于卷積的多尺度解碼
        4.2.3 損失函數(shù)與訓(xùn)練算法
    4.3 面向動(dòng)作識(shí)別的卷積回聲狀態(tài)網(wǎng)絡(luò)擴(kuò)展模型
        4.3.1 人體骨骼節(jié)點(diǎn)數(shù)據(jù)的結(jié)構(gòu)劃分
        4.3.2 基于多步通道融合策略的拓展模型
    4.4 基于UCR時(shí)序數(shù)據(jù)庫的分類實(shí)驗(yàn)
        4.4.1 UCR時(shí)序數(shù)據(jù)庫介紹
        4.4.2 數(shù)據(jù)預(yù)處理與模型設(shè)置
        4.4.3 實(shí)驗(yàn)結(jié)果
    4.5 基于人體骨骼節(jié)點(diǎn)序列的動(dòng)作識(shí)別任務(wù)
        4.5.1 數(shù)據(jù)集介紹
        4.5.2 數(shù)據(jù)預(yù)處理與實(shí)驗(yàn)設(shè)置
        4.5.3 實(shí)驗(yàn)結(jié)果
    4.6 本章小結(jié)
第五章 結(jié)論和展望
參考文獻(xiàn)
攻讀碩士學(xué)位期間取得的研究成果
致謝
附件


【參考文獻(xiàn)】：
期刊論文
[1]儲(chǔ)備池計(jì)算硬件實(shí)現(xiàn)方案研究進(jìn)展[J]. 李磊,方捻,王陸唐,黃肇明.  激光與光電子學(xué)進(jìn)展. 2017(08)
[2]一種增量式模塊化回聲狀態(tài)網(wǎng)絡(luò)[J]. 李凡軍,喬俊飛.  控制與決策. 2016(08)
[3]基于小世界回聲狀態(tài)網(wǎng)的時(shí)間序列預(yù)測(cè)[J]. 倫淑嫻,林健,姚顯雙.  自動(dòng)化學(xué)報(bào). 2015(09)
[4]一種基于L1范數(shù)正則化的回聲狀態(tài)網(wǎng)絡(luò)[J]. 韓敏,任偉杰,許美玲.  自動(dòng)化學(xué)報(bào). 2014(11)
[5]儲(chǔ)備池計(jì)算概述[J]. 彭宇,王建民,彭喜元.  電子學(xué)報(bào). 2011(10)
[6]回響狀態(tài)網(wǎng)絡(luò)輸出連接權(quán)重的一個(gè)穩(wěn)定訓(xùn)練方法[J]. 宋青松,馮祖仁,李人厚.  控制與決策. 2011(01)
[7]基于Kalman濾波的儲(chǔ)備池多元時(shí)間序列在線預(yù)報(bào)器[J]. 韓敏,王亞楠.  自動(dòng)化學(xué)報(bào). 2010(01)



本文編號(hào)：3203308