本文關(guān)鍵詞：基于隨機(jī)映射神經(jīng)網(wǎng)絡(luò)的多元時(shí)間序列預(yù)測(cè)方法研究，由筆耕文化傳播整理發(fā)布。

【摘要】：多元時(shí)間序列廣泛存在于自然、工業(yè)、經(jīng)濟(jì)、能源和社會(huì)等領(lǐng)域的實(shí)際復(fù)雜系統(tǒng)之中。研究如何有效地從這些時(shí)間序列中挖掘出潛在的有用知識(shí)、構(gòu)建預(yù)測(cè)模型,不僅有利于理解與認(rèn)識(shí)實(shí)際復(fù)雜系統(tǒng),而且能夠?yàn)橄鄳?yīng)的控制、決策和調(diào)控提供理論支持。本文以基于隨機(jī)映射神經(jīng)網(wǎng)絡(luò)的多元時(shí)間序列預(yù)測(cè)為題進(jìn)行研究,以兩種隨機(jī)映射神經(jīng)網(wǎng)絡(luò)：極端學(xué)習(xí)機(jī)與回聲狀態(tài)網(wǎng)絡(luò)為預(yù)測(cè)模型,探索適用于多元序列預(yù)測(cè)的隨機(jī)映射神經(jīng)網(wǎng)絡(luò)的離線與在線建模方法,主要取得以下三方面研究成果：1、提出基于模型選擇與改進(jìn)訓(xùn)練算法的極端學(xué)習(xí)機(jī)預(yù)測(cè)方法。針對(duì)極端學(xué)習(xí)機(jī)的隱含層節(jié)點(diǎn)個(gè)數(shù)確定問題,設(shè)計(jì)基于模型選擇算法的極端學(xué)習(xí)機(jī),實(shí)現(xiàn)最優(yōu)隱含層節(jié)點(diǎn)個(gè)數(shù)的選擇。針對(duì)極端學(xué)習(xí)機(jī)偽逆訓(xùn)練算法易出現(xiàn)病態(tài)解問題,引入信賴域Newton訓(xùn)練算法,較偽逆算法取得更優(yōu)的訓(xùn)練結(jié)果,且尤其適合于大規(guī)模樣本問題。考慮到不同樣本對(duì)預(yù)測(cè)具有差異性影響的問題,根據(jù)預(yù)測(cè)誤差對(duì)樣本施加不同的權(quán)重,建立基于樣本加權(quán)算法的核極端學(xué)習(xí)機(jī)。針對(duì)核極端學(xué)習(xí)機(jī)的核函數(shù)選擇及核參數(shù)優(yōu)化問題,開發(fā)多核極端學(xué)習(xí)機(jī),組合多個(gè)不同類型或者不同參數(shù)的核函數(shù),增加預(yù)測(cè)模型表達(dá)能力。2、提出基于改進(jìn)訓(xùn)練算法與層級(jí)結(jié)構(gòu)的回聲狀態(tài)網(wǎng)絡(luò)預(yù)測(cè)方法。將含噪時(shí)間序列的預(yù)測(cè)誤差分解為預(yù)測(cè)模型偏差和輸入擾動(dòng)誤差,指出高精度建模的關(guān)鍵是對(duì)兩者進(jìn)行有效平衡,并在噪聲有界假設(shè)下,建立魯棒回聲狀態(tài)網(wǎng)絡(luò)。針對(duì)支持向量回聲狀態(tài)機(jī)正則化系數(shù)難以確定和單一正則化系數(shù)制約其預(yù)測(cè)精度的問題,在優(yōu)化問題中對(duì)正則化系數(shù)進(jìn)行加權(quán),并采用解軌跡算法求解,得到加權(quán)支持向量回聲狀態(tài)機(jī)。針對(duì)復(fù)雜多元時(shí)間序列預(yù)測(cè)問題,設(shè)計(jì)層級(jí)結(jié)構(gòu)回聲狀態(tài)網(wǎng)絡(luò),第一層采用多個(gè)帶有跳躍的環(huán)形儲(chǔ)備池進(jìn)行動(dòng)態(tài)特征提取,第二層對(duì)提取出的動(dòng)態(tài)特征進(jìn)行特征選擇后采用極端學(xué)習(xí)機(jī)建模。3、提出基于改進(jìn)在線訓(xùn)練算法的隨機(jī)映射神經(jīng)網(wǎng)絡(luò)在線預(yù)測(cè)方法。針對(duì)多元時(shí)間序列的在線建模問題,引入基于在線LM訓(xùn)練算法的極端學(xué)習(xí)機(jī),結(jié)合極端學(xué)習(xí)機(jī)的隨機(jī)隱含層生成機(jī)制,推導(dǎo)出Hessian矩陣和梯度向量的迭代計(jì)算公式。針對(duì)非平穩(wěn)時(shí)間序列的預(yù)測(cè)問題,設(shè)計(jì)基于在線序列訓(xùn)練算法的核極端學(xué)習(xí)機(jī),依據(jù)核極端學(xué)習(xí)機(jī)的拉格朗日函數(shù),推導(dǎo)出增量學(xué)習(xí)算法和減量學(xué)習(xí)算法,并設(shè)計(jì)固定時(shí)間窗預(yù)測(cè)策略。針對(duì)回聲狀態(tài)網(wǎng)絡(luò)缺乏有效在線訓(xùn)練算法且存在不適定性的問題,建立基于在線稀疏訓(xùn)練算法的回聲狀態(tài)網(wǎng)絡(luò),通過在目標(biāo)函數(shù)中增加L1正則項(xiàng)以改善不適定性,采用截?cái)嗵荻人惴ㄟM(jìn)行在線近似求解,并理論證明方法的有效性。
【關(guān)鍵詞】：多元時(shí)間序列 預(yù)測(cè) 隨機(jī)映射神經(jīng)網(wǎng)絡(luò) 極端學(xué)習(xí)機(jī) 回聲狀態(tài)網(wǎng)絡(luò)
【學(xué)位授予單位】：大連理工大學(xué)
【學(xué)位級(jí)別】：博士
【學(xué)位授予年份】：2015
【分類號(hào)】：TP183
【目錄】：

• 摘要4-5
• ABSTRACT5-18
• 1 緒論18-37
• 1.1 研究背景與意義18-19
• 1.2 國(guó)內(nèi)外相關(guān)工作研究進(jìn)展19-35
• 1.2.1 多元時(shí)間序列預(yù)測(cè)研究現(xiàn)狀19-20
• 1.2.2 極端學(xué)習(xí)機(jī)研究現(xiàn)狀20-26
• 1.2.3 回聲狀態(tài)網(wǎng)絡(luò)研究現(xiàn)狀26-33
• 1.2.4 現(xiàn)有研究工作的不足33-35
• 1.3 本文主要研究思路35-37
• 2 基于模型選擇和改進(jìn)訓(xùn)練算法的極端學(xué)習(xí)機(jī)預(yù)測(cè)方法37-63
• 2.1 引言37-38
• 2.2 基于模型選擇算法的極端學(xué)習(xí)機(jī)38-44
• 2.2.1 模型選擇算法38-39
• 2.2.2 基于模型選擇算法的極端學(xué)習(xí)機(jī)39-41
• 2.2.3 仿真實(shí)例41-44
• 2.3 基于信賴域Newton訓(xùn)練算法的極端學(xué)習(xí)機(jī)44-49
• 2.3.1 信賴域Newton算法44-45
• 2.3.2 基于信賴域Newton訓(xùn)練算法的極端學(xué)習(xí)機(jī)45-46
• 2.3.3 仿真實(shí)例46-49
• 2.4 基于樣本加權(quán)算法的核極端學(xué)習(xí)機(jī)49-55
• 2.4.1 核極端學(xué)習(xí)機(jī)49-50
• 2.4.2 基于樣本加權(quán)算法的核極端學(xué)習(xí)機(jī)50-52
• 2.4.3 仿真實(shí)例52-55
• 2.5 多核極端學(xué)習(xí)機(jī)55-62
• 2.5.1 多核極端學(xué)習(xí)機(jī)55-56
• 2.5.2 多核極端學(xué)習(xí)機(jī)的求解56-58
• 2.5.3 仿真實(shí)例58-62
• 2.6 本章小結(jié)62-63
• 3 基于改進(jìn)訓(xùn)練算法和層級(jí)結(jié)構(gòu)的回聲狀態(tài)網(wǎng)絡(luò)預(yù)測(cè)方法63-89
• 3.1 引言63-64
• 3.2 魯棒回聲狀態(tài)網(wǎng)絡(luò)64-72
• 3.2.1 含噪時(shí)間序列預(yù)測(cè)誤差分析65-69
• 3.2.2 魯棒回聲狀態(tài)網(wǎng)絡(luò)69-71
• 3.2.3 仿真實(shí)例71-72
• 3.3 加權(quán)支持向量回聲狀態(tài)機(jī)72-79
• 3.3.1 加權(quán)支持向量回聲狀態(tài)機(jī)72-75
• 3.3.2 加權(quán)系數(shù)的求解75-76
• 3.3.3 仿真實(shí)例76-79
• 3.4 層級(jí)結(jié)構(gòu)回聲狀態(tài)網(wǎng)絡(luò)79-87
• 3.4.1 帶有跳躍的環(huán)形儲(chǔ)備池79-81
• 3.4.2 層級(jí)結(jié)構(gòu)回聲狀態(tài)網(wǎng)絡(luò)81-83
• 3.4.3 仿真實(shí)例83-87
• 3.5 本章小結(jié)87-89
• 4 基于改進(jìn)在線訓(xùn)練算法的隨機(jī)映射神經(jīng)網(wǎng)絡(luò)預(yù)測(cè)方法89-118
• 4.1 引言89-91
• 4.2 基于在線LM訓(xùn)練算法的極端學(xué)習(xí)機(jī)91-102
• 4.2.1 在線LM訓(xùn)練算法91-94
• 4.2.2 基于在線LM訓(xùn)練算法的極端學(xué)習(xí)機(jī)94-95
• 4.2.3 仿真實(shí)例95-102
• 4.3 基于在線序列訓(xùn)練算法的核極端學(xué)習(xí)機(jī)102-112
• 4.3.1 在線序列訓(xùn)練算法102-107
• 4.3.2 基于在線序列訓(xùn)練算法的核極端學(xué)習(xí)機(jī)107-108
• 4.3.3 仿真實(shí)例108-112
• 4.4 基于在線稀疏訓(xùn)練算法的回聲狀態(tài)網(wǎng)絡(luò)112-117
• 4.4.1 基于在線稀疏訓(xùn)練算法的回聲狀態(tài)網(wǎng)絡(luò)112-114
• 4.4.2 基于在線稀疏訓(xùn)練算法的回聲狀態(tài)網(wǎng)絡(luò)的理論分析114-115
• 4.4.3 仿真實(shí)例115-117
• 4.5 本章小結(jié)117-118
• 5 結(jié)論與展望118-124
• 5.1 結(jié)論118-122
• 5.2 創(chuàng)新點(diǎn)122-123
• 5.3 展望123-124
• 參考文獻(xiàn)124-133
• 攻讀博士學(xué)位期間科研項(xiàng)目及科研成果133-135
• 致謝135-137
• 作者簡(jiǎn)介137

  本文關(guān)鍵詞：基于隨機(jī)映射神經(jīng)網(wǎng)絡(luò)的多元時(shí)間序列預(yù)測(cè)方法研究，，由筆耕文化傳播整理發(fā)布。

本文編號(hào)：420748