本文關(guān)鍵詞：動(dòng)態(tài)系統(tǒng)參數(shù)辨識(shí)中的奇異性研究，由筆耕文化傳播整理發(fā)布。

【摘要】：諸如神經(jīng)網(wǎng)絡(luò)在內(nèi)的層次網(wǎng)絡(luò)中普遍存在奇異性。奇異性問題的研究已經(jīng)成為當(dāng)前的一個(gè)重要發(fā)展方向。層次網(wǎng)絡(luò)中的奇異性導(dǎo)致許多奇異現(xiàn)象發(fā)生：Cramer-Rao定理不再成立,極大似然估計(jì)不再具有漸近高斯性,收斂速度變得極為緩慢,平坦區(qū)現(xiàn)象出現(xiàn)等等。如何降低奇異性影響,加快學(xué)習(xí)動(dòng)態(tài)中的收斂速度是一項(xiàng)非常有意義的研究課題。本文圍繞徑向基函數(shù)神經(jīng)網(wǎng)絡(luò)(MLPs)學(xué)習(xí)和非線性系統(tǒng)辨識(shí)中的奇異性問題,以信息幾何方法為基礎(chǔ),提出了應(yīng)用于RBFs學(xué)習(xí)和非線性系統(tǒng)辨識(shí)中的自適應(yīng)自然梯度算法。下面將全文的主要工作進(jìn)行總結(jié)：(1)研究了線性系統(tǒng)辨識(shí)和非線性系統(tǒng)辨識(shí)中的奇異性是否存在的問題。將非線性系統(tǒng)分為兩類,并分別對(duì)它們辨識(shí)中的奇異性存在問題進(jìn)行研究。就線性系統(tǒng)和關(guān)于參數(shù)線性的非線性系統(tǒng)辨識(shí)而言,在假設(shè)噪聲是高斯白噪聲的情況下,得到這兩類系統(tǒng)的Fisher信息矩陣,并證明該信息矩陣在信號(hào)是充分激勵(lì)的條件下始終正定。對(duì)關(guān)于參數(shù)非線性的非線性系統(tǒng),因?yàn)檫@類系統(tǒng)中包含系統(tǒng)的種類比較多,只能選擇常見的某類系統(tǒng)進(jìn)行分析。通過對(duì)噪聲信號(hào)的假設(shè),得到其Fisher信息矩陣,以及該矩陣退化的區(qū)域。對(duì)所研究系統(tǒng),作出了誤差變化曲線,觀察該曲線中是否存在平坦區(qū)現(xiàn)象,以及平坦區(qū)現(xiàn)象出現(xiàn)的區(qū)域,以驗(yàn)證理論推導(dǎo)。(2)提出了一種應(yīng)用于RBFs學(xué)習(xí)的自然梯度學(xué)習(xí)算法。在假設(shè)輸入信號(hào)是高斯變量的情況下,得到了Fisher信息矩陣。利用Sherman-Morrison公式得到了Fisher信息矩陣的逆矩陣的具體表達(dá)式。在隱節(jié)點(diǎn)數(shù)目較多的情況下,Fisher信息矩陣及其逆矩陣的計(jì)算非常困難。本文結(jié)合Kalman濾波技巧和一個(gè)等式提出了能夠應(yīng)用于RBFs的自適應(yīng)自然梯度算法。并且將這種方法應(yīng)用于非線性函數(shù)擬合,Mackey-Glass混沌時(shí)間序列預(yù)測(cè),非線性時(shí)變系統(tǒng)辨識(shí)等等,與文獻(xiàn)資料中的結(jié)果對(duì)比發(fā)現(xiàn),所提算法能夠取得好的學(xué)習(xí)效果。(3)針對(duì)關(guān)于參數(shù)非線性的非線性系統(tǒng)辨識(shí)中出現(xiàn)的奇異性,研究了自然梯度學(xué)習(xí)算法在該類非線性系統(tǒng)辨識(shí)中的應(yīng)用。在假設(shè)輸入信號(hào)是均勻變量的情況下,得到了Fisher信息矩陣。并利用Sherman-Morrison公式得到了Fisher信息矩陣的逆矩陣的具體表達(dá)式。在系統(tǒng)項(xiàng)數(shù)較多的情況下,Fisher信息矩陣及其逆矩陣的計(jì)算非常困難。另外,在實(shí)際問題中,輸入信號(hào)的概率分布未知,本文結(jié)合Kalman濾波技巧和一個(gè)等式提出了能夠應(yīng)用于這類關(guān)于參數(shù)非線性的非線性系統(tǒng)辨識(shí)的自適應(yīng)自然梯度學(xué)習(xí)算法。通過數(shù)值仿真發(fā)現(xiàn),所提算法能夠有效降低奇異性影響,加快學(xué)習(xí)動(dòng)態(tài),取得好的辨識(shí)結(jié)果。(4)針對(duì)混合高斯模型中出現(xiàn)的奇異性,本章研究了自然梯度學(xué)習(xí)算法在該類模型中的應(yīng)用。在假設(shè)x是高斯變量的情況下,得到了Fisher信息矩陣,利用Sherman-Morrison公式得到了Fisher信息矩陣的逆矩陣的具體表達(dá)式。在高斯分量較多的情況下,Fisher信息矩陣及其逆矩陣的計(jì)算非常困難。為了克服自然梯度學(xué)習(xí)算法的執(zhí)行困難,本文提出了能夠應(yīng)用于混合高斯模型的自適應(yīng)自然梯度學(xué)習(xí)算法。
【關(guān)鍵詞】：奇異性 平坦區(qū)現(xiàn)象 學(xué)習(xí)機(jī)器 層次模型 非線性系統(tǒng)辨識(shí) 自然梯度算法 自適應(yīng)自然梯度法 Mackey-Glass混沌時(shí)間序列 混合高斯模型
【學(xué)位授予單位】：東南大學(xué)
【學(xué)位級(jí)別】：博士
【學(xué)位授予年份】：2015
【分類號(hào)】：N945.14
【目錄】：

• 摘要4-6
• Abstract6-11
• 第一章 緒論11-25
• 1.1 課題的研究背景、目的和意義11-15
• 1.1.1 研究背景11-13
• 1.1.2 研究目的和意義13-15
• 1.2 動(dòng)態(tài)系統(tǒng)辨識(shí)中的奇異性問題的發(fā)展概況15-21
• 1.2.1 動(dòng)態(tài)系統(tǒng)辨識(shí)中的奇異性問題的研究現(xiàn)狀15-18
• 1.2.2 加速動(dòng)態(tài)系統(tǒng)學(xué)習(xí)問題的研究現(xiàn)狀18-21
• 1.3 本文的主要研究?jī)?nèi)容與結(jié)構(gòu)安排21-25
• 1.3.1 論文的主要研究?jī)?nèi)容21-22
• 1.3.2 論文的結(jié)構(gòu)安排22-25
• 第二章 動(dòng)態(tài)系統(tǒng)辨識(shí)中的奇異性25-43
• 2.1 引言25-28
• 2.2 參數(shù)動(dòng)態(tài)系統(tǒng)的分類28-31
• 2.2.1 線性動(dòng)態(tài)系統(tǒng)28-29
• 2.2.2 非線性動(dòng)態(tài)系統(tǒng)29-31
• 2.3 學(xué)習(xí)模式和FISHER信息矩陣31-33
• 2.3.1 學(xué)習(xí)模式和梯度下降法31-32
• 2.3.2 Fisher信息矩陣32-33
• 2.4 各類動(dòng)態(tài)系統(tǒng)辨識(shí)過程中的奇異性33-38
• 2.4.1 線性動(dòng)態(tài)系統(tǒng)辨識(shí)中的奇異性33-34
• 2.4.2 非線性動(dòng)態(tài)系統(tǒng)的奇異性34-38
• 2.5 數(shù)值仿真38-40
• 2.6 小結(jié)40-43
• 第三章 應(yīng)用于徑向基函數(shù)神經(jīng)網(wǎng)絡(luò)的自然梯度學(xué)習(xí)算法43-65
• 3.1 引言43-45
• 3.2 徑向基函數(shù)神經(jīng)網(wǎng)絡(luò)和Fisher信息矩陣45-48
• 3.2.1 徑向基函數(shù)神經(jīng)網(wǎng)絡(luò)模型45
• 3.2.2 Fisher信息矩陣45-48
• 3.3 自然梯度學(xué)習(xí)算法48-53
• 3.4 自適應(yīng)自然梯度學(xué)習(xí)算法53-54
• 3.5 仿真結(jié)果54-63
• 3.5.1 非線性函數(shù)擬合(一)54-56
• 3.5.2 非線性函數(shù)擬合(二)56-58
• 3.5.3 Mackey-Glass混沌時(shí)間序列預(yù)測(cè)58-61
• 3.5.4 非線性時(shí)變系統(tǒng)逼近61-63
• 3.6 小結(jié)63-65
• 第四章 應(yīng)用于非線性系統(tǒng)參數(shù)辨識(shí)的自然梯度學(xué)習(xí)算法65-75
• 4.1 引言65-66
• 4.2 一類典型非線性系統(tǒng)和FISHER信息矩陣66-70
• 4.2.1 一類典型的非線性系統(tǒng)66-67
• 4.2.2 Fisher信息矩陣67-70
• 4.3 自然梯度學(xué)習(xí)算法70-72
• 4.4 數(shù)值仿真72-74
• 4.5 小結(jié)74-75
• 第五章 應(yīng)用于混合高斯模型的自然梯度學(xué)習(xí)算法75-87
• 5.1 引言75-77
• 5.2 Fisher信息矩陣77-80
• 5.3 自然梯度學(xué)習(xí)算法80-84
• 5.4 數(shù)值仿真84-86
• 5.4.1 仿真實(shí)例(一)84-86
• 5.5 小結(jié)86-87
• 第六章 結(jié)論與展望87-91
• 6.1 本文的主要工作87-88
• 6.2 展望88-91
• 參考文獻(xiàn)91-107
• 致謝107-109
• 攻讀博士學(xué)位期間發(fā)表的學(xué)術(shù)論文109

【相似文獻(xiàn)】

中國(guó)期刊全文數(shù)據(jù)庫 前10條

1 屈超純,唐鳴放;一類擬線性雙曲型方程初始問題的奇異性[J];云南大學(xué)學(xué)報(bào)(自然科學(xué)版);1989年02期

2 牛焱洲;張水文;;具有任意階奇異性的有限單元的研究[J];華北水利水電學(xué)院學(xué)報(bào);1992年02期

3 金棟平,陳予恕;滯后非線性系統(tǒng)的分岔和奇異性[J];天津大學(xué)學(xué)報(bào);1997年03期

4 V.I.Arnol'd,朱照宣;數(shù)學(xué)和力學(xué)中的分叉和奇異性[J];力學(xué)進(jìn)展;1989年02期

5 朱星星;論一個(gè)生成的電磁解的奇異性和視界[J];湘潭師范學(xué)院學(xué)報(bào);1996年03期

6 云中客;太陽光的奇異性能[J];物理;2005年01期

7 王晶囡;郭爽;;綜合國(guó)力模型的Bogdanov-Takens奇異性[J];哈爾濱理工大學(xué)學(xué)報(bào);2012年04期

8 劉生春,白少民;分布源模型下源區(qū)電場(chǎng)的奇異性探析[J];延安大學(xué)學(xué)報(bào)(自然科學(xué)版);1996年04期

9 趙芬霞;廣義Fuzzy數(shù)值測(cè)度的絕對(duì)連續(xù)性和奇異性探討[J];中國(guó)民航學(xué)院學(xué)報(bào);2003年03期

10 胡崗;;積分核的奇異性和反問題(英文)[J];北京師范大學(xué)學(xué)報(bào)(自然科學(xué)版);1993年04期

中國(guó)重要會(huì)議論文全文數(shù)據(jù)庫 前5條

1 秦志英;陸啟韶;;非光滑分岔的規(guī)范形映射及C-分岔分析[A];第十一屆全國(guó)非線性振動(dòng)學(xué)術(shù)會(huì)議暨第八屆全國(guó)非線性動(dòng)力學(xué)和運(yùn)動(dòng)穩(wěn)定性學(xué)術(shù)會(huì)議論文摘要集[C];2007年

2 秦志英;陸啟韶;;非光滑分岔的規(guī)范形映射及C-分岔分析[A];第十一屆全國(guó)非線性振動(dòng)學(xué)術(shù)會(huì)議暨第八屆全國(guó)非線性動(dòng)力學(xué)和運(yùn)動(dòng)穩(wěn)定性學(xué)術(shù)會(huì)議論文集[C];2007年

3 黃錦輝;夏云慶;;中文聊天語言的奇異性與動(dòng)態(tài)性研究[A];中文信息處理前沿進(jìn)展——中國(guó)中文信息學(xué)會(huì)二十五周年學(xué)術(shù)會(huì)議論文集[C];2006年

4 胡寶群;呂古賢;王方正;孫占學(xué);李滿根;白麗紅;;一種孕育模式:巖石圈中水的臨界奇異性與斷裂的耦合[A];中國(guó)科學(xué)技術(shù)協(xié)會(huì)2008防災(zāi)減災(zāi)論壇論文集[C];2008年

5 陳夢(mèng)成;平學(xué)成;朱劍軍;;壓電-異材結(jié)合材料切口/接頭端部反平面奇異性[A];第二屆全國(guó)壓電和聲波理論及器件技術(shù)研討會(huì)摘要集[C];2006年

中國(guó)博士學(xué)位論文全文數(shù)據(jù)庫 前1條

1 趙軍圣;動(dòng)態(tài)系統(tǒng)參數(shù)辨識(shí)中的奇異性研究[D];東南大學(xué);2015年

中國(guó)碩士學(xué)位論文全文數(shù)據(jù)庫 前4條

1 路凱;實(shí)擴(kuò)張矩陣下一些自仿測(cè)度的非譜性與奇異性研究[D];陜西師范大學(xué);2014年

2 祁陸喬;正交各向異性壓電楔形結(jié)構(gòu)反平面變形狀態(tài)下電彈場(chǎng)的奇異性[D];石家莊鐵道大學(xué);2013年

3 鄭冬云;次線性Liénard方程和具有奇異性Duffing方程周期解的存在性[D];首都師范大學(xué);2005年

4 孫慧賢;圖的零度和奇異性的進(jìn)一步研究[D];江西師范大學(xué);2011年

  本文關(guān)鍵詞：動(dòng)態(tài)系統(tǒng)參數(shù)辨識(shí)中的奇異性研究，由筆耕文化傳播整理發(fā)布。

，

本文編號(hào)：322775