由于經(jīng)典的人工神經(jīng)網(wǎng)絡(luò)的訓(xùn)練時(shí)間過長(zhǎng),導(dǎo)致其應(yīng)用范圍受到了限制。極限學(xué)習(xí)機(jī)（Extreme Learning Machine,ELM）的問世,一舉打破這一僵局,即ELM能夠在保證相當(dāng)?shù)姆诸惥惹疤嵯?可大幅度縮減前饋神經(jīng)網(wǎng)絡(luò)的訓(xùn)練時(shí)間。然而,與BP（Back Propagation,BP）神經(jīng)網(wǎng)絡(luò)一樣,雖然都具備全局逼近能力,但當(dāng)面臨數(shù)據(jù)樣本相對(duì)復(fù)雜的情況時(shí),極限學(xué)習(xí)機(jī)為了保證學(xué)習(xí)能力,就需要增加隱節(jié)點(diǎn)個(gè)數(shù),如此必然導(dǎo)致網(wǎng)絡(luò)結(jié)構(gòu)的復(fù)雜性。隨機(jī)投影方法是目前處理海量、高維數(shù)據(jù)的有效工具之一。因此本文考慮在傳統(tǒng)神經(jīng)網(wǎng)絡(luò)基礎(chǔ)上借鑒極限學(xué)習(xí)機(jī)的快速學(xué)習(xí)思想,設(shè)計(jì)出更加快速的人工神經(jīng)網(wǎng)絡(luò)。本文以平面高斯網(wǎng)絡(luò)（Plane-Gaussian,PG）為主要研究對(duì)象,由于PG隱層參數(shù)是通過聚類算法獲得,網(wǎng)絡(luò)訓(xùn)練時(shí)間較長(zhǎng),且易陷入局部最優(yōu)解。針對(duì)它的缺陷,本文提出一種改進(jìn)算法,即隨機(jī)投影下的平面高斯神經(jīng)網(wǎng)絡(luò)（Plane-Gaussian Network Based on Random Projection,RandPG）,并在網(wǎng)絡(luò)結(jié)構(gòu)上進(jìn)一步優(yōu)化。本文的研究工作主要包括以下幾點(diǎn):（1）借鑒極限學(xué)習(xí)機(jī)的網(wǎng)絡(luò)... 

【文章來源】：南京林業(yè)大學(xué)江蘇省

【文章頁(yè)數(shù)】：54 頁(yè)

【學(xué)位級(jí)別】：碩士

【部分圖文】：

平面高斯函數(shù)的三維可視化

提出了一種雙隱層 RandPG 網(wǎng)絡(luò)(Two-hidden-layer Rand TRandPG 網(wǎng)絡(luò)的基本原理，以及與 RandPG 算法的對(duì)比實(shí)本原理 Tateishi[53]在理論和實(shí)驗(yàn)上證明了：在同等實(shí)驗(yàn)條件下，雙隱層前向神經(jīng)網(wǎng)絡(luò)更少的隱層神經(jīng)元個(gè)數(shù)來達(dá)到理想的性( N / 2 + 3)個(gè)隱節(jié)點(diǎn)就可以訓(xùn)練N 個(gè)訓(xùn)練樣本，從而獲得在 2002 年又進(jìn)一步證明了對(duì)于 個(gè)訓(xùn)練樣本，雙隱層前個(gè)隱層神經(jīng)元就可以訓(xùn)練實(shí)現(xiàn)任意小的訓(xùn)練誤差。網(wǎng)絡(luò)的這種優(yōu)勢(shì)啟發(fā)我們將 ELM 算法的特點(diǎn)，即隨機(jī)產(chǎn)前向網(wǎng)絡(luò)的框架中。對(duì)于這個(gè)雙隱層前向神經(jīng)網(wǎng)絡(luò)，它的與第一個(gè)隱層間的權(quán)值及第一個(gè)隱層的偏置隨機(jī)產(chǎn)生。第層與第二個(gè)隱層之間的權(quán)值及第二個(gè)隱層的偏置是通過下。由于這個(gè)算法是基于雙隱層前向網(wǎng)絡(luò)架構(gòu)的 RandPG 的隱層 RandPG(Two-hidden-layer RandPG, TRandPG)。TRan

圖 5-2 TRandPG 的算法流程Fig.5-2 Workflow of TRandPGN 個(gè)獨(dú)立的樣本數(shù)據(jù)( , )i ix t (i 1, 2, , N )，TRandPG 中共有 2L 個(gè)活函數(shù)用 g ( x )表示。為訓(xùn)練 TRandPG 網(wǎng)絡(luò)，我們首先隨機(jī)初始間的連接權(quán)值矩陣W和第一個(gè)隱層的偏置矩陣B ，然后按照公式與輸出層之間的權(quán)值矩陣β。根據(jù)圖 5-2 中 TRandPG 的算法流程H 1 1g ( W H +B )H 接第一個(gè)隱層與第二個(gè)隱層的權(quán)值矩陣。我們假設(shè)第一個(gè)隱層量的神經(jīng)元，那么 就是一個(gè)方陣。H表示的是所有 N 個(gè)樣本陣。矩陣1B 代表第二個(gè)隱層的偏置，矩陣1H 代表第二個(gè)隱層的期隱層的期望輸出可按下式計(jì)算：+1H =Tβ β的 Moore-Penrose 廣義逆矩陣。+β 的計(jì)算方式與前面所討論的H，那么1=( )+ T Tβ β β β ；或者如果Tββ 滿秩，1= ( )+ T T β β ββ 。然后

【參考文獻(xiàn)】：
期刊論文
[1]隨機(jī)投影下的Plane-Gaussian人工神經(jīng)網(wǎng)絡(luò)[J]. 馮哲,楊緒兵,張福全.  數(shù)據(jù)采集與處理. 2017(02)
[2]基于Plane-Gaussian神經(jīng)網(wǎng)絡(luò)的網(wǎng)絡(luò)流狀態(tài)監(jiān)測(cè)[J]. 楊緒兵,馮哲,顧一凡,薛暉.  計(jì)算機(jī)應(yīng)用. 2017(03)

碩士論文
[1]基于超平面原型的聚類算法及相應(yīng)擴(kuò)展神經(jīng)網(wǎng)絡(luò)的研究[D]. 王穎.南京航空航天大學(xué) 2006



本文編號(hào)：3250794