【摘要】：本文主要研究一種新的機器學習方法,即極限學習機(ELM)。作為一種針對單隱層前饋神經(jīng)網(wǎng)絡(luò)(SLFNs)的學習算法,ELM具有快速的學習速度和很好的泛化能力。隱含層節(jié)點在ELM算法中起著重要的作用,確定隱含層節(jié)點的方法有兩種:一是剪枝法;二是增量學習方法。本文中我們介紹了兩種剪枝方法,最優(yōu)剪枝ELM(OP-ELM)和Tikhonov正則 OP-ELM(TROP-ELM)。我們的主要工作是ELM的增量學習方法,增量學習即首先初始化一個較小的網(wǎng)絡(luò),然后向網(wǎng)絡(luò)中增加新的節(jié)點,直到生成一個我們滿意的網(wǎng)絡(luò)。當新的隱含層節(jié)點加入到已經(jīng)存在的網(wǎng)絡(luò)中時,重新訓練網(wǎng)絡(luò)往往比較費時,誤差最小化極限學習機(EM-ELM)是一種增量的計算輸出權(quán)值的快速方法。然而,由于過擬合等原因,EM-ELM不能總是得到好的泛化能力。在此,根據(jù)結(jié)構(gòu)風險最小化準則,我們提出了一種基于正則化的EM-ELM改進方法,即增量正則化極限學習機(IR-ELM)。當我們逐一的向網(wǎng)絡(luò)中增加新的隱含層節(jié)點時,IR-ELM可以快速的更新輸出權(quán)值,同時保證網(wǎng)絡(luò)具有很好的泛化能力,從而避免了上述提到的問題。同時,我們還提出了 IR-ELM的提升方法(EIR-ELM),它可以在一組候選隱含層節(jié)點中選出較好的一個加入到網(wǎng)絡(luò)中,進一步提升了算法的泛化能力,同時生產(chǎn)更緊湊的網(wǎng)絡(luò)。針對分類和回歸問題,我們在基準數(shù)據(jù)集上與原始ELM算法,OP-ELM和TROP-ELM算法及EM-ELM和EEM-ELM算法進行了對比實驗,驗證了IR-ELM和EIR-ELM的有效性。
[Abstract]:In this paper, a new machine learning method, called extreme learning machine (ELM).), is studied. As a learning algorithm for single hidden layer feedforward neural network (SLFNs), ELM has fast learning speed and good generalization ability. Hidden layer nodes play an important role in ELM algorithm. There are two methods to determine hidden layer nodes: one is pruning method and the other is incremental learning method. In this paper, we introduce two pruning methods, optimal pruning ELM (OP-ELM) and Tikhonov regular OP-ELM (TROP-ELM). Our main work is the incremental learning method of ELM. Incremental learning is to initialize a small network first and then add new nodes to the network until we generate a satisfied network. When a new hidden layer node is added to an existing network, it is often time-consuming to retrain the network. Error minimization extreme learning machine (EM-ELM) is a fast incremental method for calculating output weights. However, due to over-fitting and other reasons, EM-ELM can not always get good generalization ability. Based on the structural risk minimization criterion, we propose an improved EM-ELM method based on regularization, i.e. incremental regularization extreme learning machine (IR-ELM). When we add new hidden layer nodes to the network one by one, IR-ELM can quickly update the output weights, and at the same time ensure that the network has a good generalization ability, thus avoiding the problem mentioned above. At the same time, we propose a IR-ELM lifting method (EIR-ELM), which can select a better one from a set of candidate hidden layer nodes to join the network, further improve the generalization ability of the algorithm and produce a more compact network. For the classification and regression problems, we compare with the original ELM algorithm, OP-ELM and TROP-ELM algorithm and EM-ELM and EEM-ELM algorithm on the benchmark dataset, and verify the effectiveness of IR-ELM and EIR-ELM.
【學位授予單位】：浙江大學
【學位級別】：碩士
【學位授予年份】：2017
【分類號】：TP181

【相似文獻】

相關(guān)期刊論文 前10條

1 張義超;盧英;李煒;;RBF網(wǎng)絡(luò)隱含層節(jié)點的優(yōu)化[J];計算機技術(shù)與發(fā)展;2009年01期

2 翟俊海;李塔;翟夢堯;王熙照;;ELM算法中隨機映射作用的實驗研究[J];計算機工程;2012年20期

3 付英,曾敏,李興源,劉俊勇,王貴德;隱含層對人工神經(jīng)元網(wǎng)絡(luò)電壓安全評估的影響[J];電力系統(tǒng)自動化;1996年11期

4 潘昊;決定神經(jīng)網(wǎng)絡(luò)隱含層單元數(shù)目的自學習算法[J];湖北工學院學報;1998年01期

5 劉國超;賀彥林;朱群雄;;隱含層組合型ELM研究及應(yīng)用[J];計算機與應(yīng)用化學;2013年12期

6 王杰;畢浩洋;;一種基于粒子群優(yōu)化的極限學習機[J];鄭州大學學報(理學版);2013年01期

7 沈花玉;王兆霞;高成耀;秦娟;姚福彬;徐巍;;BP神經(jīng)網(wǎng)絡(luò)隱含層單元數(shù)的確定[J];天津理工大學學報;2008年05期

8 劉艷榮;;用于預(yù)測的BP網(wǎng)絡(luò)結(jié)構(gòu)設(shè)計[J];農(nóng)業(yè)網(wǎng)絡(luò)信息;2007年05期

9 王燦進;孫濤;石寧寧;王銳;王挺峰;王衛(wèi)兵;郭勁;陳娟;;基于雙隱含層BP算法的激光主動成像識別系統(tǒng)[J];光學精密工程;2014年06期

10 葉斌,雷燕;關(guān)于BP網(wǎng)中隱含層層數(shù)及其節(jié)點數(shù)選取方法淺析[J];商丘職業(yè)技術(shù)學院學報;2004年06期

相關(guān)碩士學位論文 前3條

1 萇群康;煙花算法優(yōu)化極限學習機的研究及應(yīng)用[D];鄭州大學;2016年

2 徐志鑫;極限學習機隱含層節(jié)點選擇算法研究[D];浙江大學;2017年

3 哈明光;單隱含層前饋神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)選擇研究[D];河北大學;2014年

，

本文編號：2265767