發(fā)布時間：2018-04-03 17:59

  本文選題：分類　切入點：增量分類　出處：《大連理工大學(xué)》2016年博士論文

【摘要】：隨著互聯(lián)網(wǎng)的發(fā)展,各類數(shù)據(jù)不斷累積,如何從數(shù)據(jù)中獲得有用的知識成為亟待解決的問題。BP神經(jīng)網(wǎng)絡(luò)(Back propagation neural networks)作為一種經(jīng)典模式分類方法,成為獲取信息的有效工具,并被廣泛應(yīng)用于各個領(lǐng)域。然而,BP神經(jīng)網(wǎng)絡(luò)采用迭代求解方式,存在計算速度慢、易獲得局部最優(yōu)解等問題。極端學(xué)習(xí)機(Extreme learning machine, ELM)與BP神經(jīng)網(wǎng)絡(luò)同為單隱層前饋神經(jīng)網(wǎng)絡(luò)(Single-hidden layer feedforward neural networks, SLFNs), ELM直接從輸入層實現(xiàn)復(fù)雜的非線性映射,利用隨機化參數(shù)的方法將迭代求解過程轉(zhuǎn)化為線性方程組的求解過程,進(jìn)而獲得了更快的求解速度。同時,避免了易陷入局部最優(yōu)解的問題,成為解決模式分類問題的有效途徑。本文主要以ELM模型為理論基礎(chǔ),以提升模式分類速度、精度與穩(wěn)定性為目標(biāo)。針對ELM模型在不同分類應(yīng)用中產(chǎn)生的問題進(jìn)行了研究、分析,并取得了下述成果：(1)針對ELM對大規(guī)模數(shù)據(jù)難以實時分類的問題,本文提出并行在線極端學(xué)習(xí)機(Parallel online sequential extreme learning machine, POSELM)模型。首先,利用ELM理論得到隱層輸出權(quán)值矩陣；然后,根據(jù)MapReduce框架并行計算特點,對矩陣分割后在不同工作結(jié)點上并行計算,以代替原有大規(guī)模矩陣?yán)鄢瞬僮�；最�?將計算結(jié)點上的結(jié)果累加后得到輸出權(quán)值矩陣。該方法保證了在不損失計算精度前提下,將ELM的增量學(xué)習(xí)算法在MapReduce框架上進(jìn)行拓展,從而實現(xiàn)數(shù)據(jù)的實時分類。(2)針對ELM分類中魯棒性低的問題,提出相應(yīng)的解決方案。ELM在建模時需全局?jǐn)?shù)據(jù)參與運算,未考慮噪音樣本對模型構(gòu)建產(chǎn)生的影響,進(jìn)而出現(xiàn)魯棒性低的問題。針對該問題,提出局部極端機(Local extreme learning machine, LELM)模型。首先,獲得測試樣本的K近鄰,根據(jù)近鄰標(biāo)簽判斷測試樣本位置,并識別噪音訓(xùn)練樣本；然后,提出監(jiān)督聚類方法結(jié)合近鄰法重建局部訓(xùn)練集；最后,針對新的訓(xùn)練集,構(gòu)建局部分類器。LELM在充分考慮樣本局部結(jié)構(gòu)的同時,識別并移除噪音樣本,從而降低噪音樣本對模型構(gòu)建產(chǎn)生的影響,提升模型魯棒性。進(jìn)一步,為了保證ELM增量分類方法的魯棒性與實時分類的穩(wěn)定性,將在線極端學(xué)習(xí)機模型(Online sequence extreme learning machine, OSELM)加以拓展,提出自組合核的在線極端學(xué)習(xí)機(Self-compounding kernel online sequential extreme learning machine, SCK-OSELM)模型。首先,提出自組合核方法,實現(xiàn)樣本空間到非線性融合特征空間的轉(zhuǎn)換。然后,借助稀疏貝葉斯原理對當(dāng)前時間點參數(shù)稀疏。最后,將當(dāng)前稀疏后得到的參數(shù)并入下一時刻運算。該方法將多個核空間的特征進(jìn)行非線性融合,避免了隱層參數(shù)選擇產(chǎn)生模型魯棒性低的問題。(3)針對ELM對非平衡數(shù)據(jù)難以有效分類的問題,提出加權(quán)的在線極端學(xué)習(xí)機(Weights robust online extreme learning machine, WROSELM)模型。為解決數(shù)據(jù)類別分布非平衡性,該模型借助代價敏感學(xué)習(xí)理論生成局部動態(tài)權(quán)值矩陣,從而優(yōu)化分類模型產(chǎn)生的經(jīng)驗風(fēng)險,并通過對權(quán)值矩陣的分解,獲得模型輸出權(quán)值矩陣新的增量表達(dá)。同時,算法進(jìn)一步考慮動態(tài)數(shù)據(jù)由于時序性改變造成的數(shù)據(jù)分布變化,而引入遺忘因子增強分類器對數(shù)據(jù)分布變更的敏感性。該方法對非平衡數(shù)據(jù)的分類問題具有較高的適應(yīng)性,可實現(xiàn)對該類數(shù)據(jù)實時、有效的分類。(4)針對ELM對多特征數(shù)據(jù)難以有效分類的問題,提出多特征極端學(xué)習(xí)機(Multi-feature extreme learning machine, MFELM)模型。該模型利用ELM對單特征逐一建模,通過給出不同特征模型的權(quán)重迭代參數(shù)優(yōu)化MFELM模型,最終獲得使分類誤差總和最小的特征組合系數(shù)與輸出權(quán)值。在組合參數(shù)設(shè)計上,引入多次冪系數(shù)避免求解過程中算法退化為單特征的情況。同時,將MFELM拓展為核方法,提出基于多特征核的極端學(xué)習(xí)機(Multi-feature kernel extreme learning machine, MFKELM)模型,該模型避免了因多特征維度不同,產(chǎn)生MFELM難以計算的問題,使分類模型可利用不同特征同時為分類提供信息,提高分類精度。
[Abstract]:With the development of Internet , various kinds of data accumulate , how to obtain useful knowledge from the data becomes a problem to be solved urgently . The BP neural network ( Back propagation neural networks ) is used as an effective tool for obtaining information and is widely used in various fields .
Then , according to the parallel computing characteristics of MapReduce framework , parallel computation is carried out on different working nodes after matrix segmentation to replace the original large - scale matrix tired operation ;
The method ensures that the incremental learning algorithm of ELM is expanded on the MapReduce frame to realize the real - time classification of the data .
Then , a supervised clustering method is proposed to reconstruct the local training set in combination with the nearest neighbor method .
In order to ensure the robustness of ELM incremental classification and the stability of real - time classification , this paper proposes a self - adaptive kernel online sequential extreme learning machine ( WROSELM ) model . In order to ensure the robustness of ELM incremental classification method and the stability of real - time classification , this paper proposes a weighted online extreme learning machine ( OSELM ) model . ( 4 ) The multi - feature extreme learning machine ( MFELM ) model is proposed to solve the problem that the multi - feature data is difficult to be effectively classified by ELM .

【學(xué)位授予單位】：大連理工大學(xué)
【學(xué)位級別】：博士
【學(xué)位授予年份】：2016
【分類號】：TP183

【參考文獻(xiàn)】

相關(guān)期刊論文 前5條

1 劉家辰;苗啟廣;曹瑩;宋建鋒;權(quán)義寧;;基于混合多樣性生成與修剪的集成單類分類算法[J];電子與信息學(xué)報;2015年02期

2 樓曉俊;孫雨軒;劉海濤;;聚類邊界過采樣不平衡數(shù)據(jù)分類方法[J];浙江大學(xué)學(xué)報(工學(xué)版);2013年06期

3 付忠良;;不平衡多分類問題的連續(xù)AdaBoost算法研究[J];計算機研究與發(fā)展;2011年12期

4 汪洪橋;孫富春;蔡艷寧;陳寧;丁林閣;;多核學(xué)習(xí)方法[J];自動化學(xué)報;2010年08期

5 竇向梅;肖暉;黃大衛(wèi);;DNA分類概述[J];生物學(xué)通報;2008年06期

，

本文編號：1706291