本文關(guān)鍵詞：神經(jīng)網(wǎng)絡(luò)集成分類方法及其在并行計(jì)算環(huán)境中的應(yīng)用研究，由筆耕文化傳播整理發(fā)布。

【摘要】：集成學(xué)習(xí)是一種新的機(jī)器學(xué)習(xí)范式,它通過對弱學(xué)習(xí)機(jī)進(jìn)行整合,獲得達(dá)到強(qiáng)學(xué)習(xí)機(jī)效果和質(zhì)量的整體輸出。集成學(xué)習(xí)從統(tǒng)計(jì)學(xué)上、計(jì)算上和表示上的三個(gè)方向,而不是直接從人工智能和學(xué)習(xí)算法的方向上,有效地提高了機(jī)器學(xué)習(xí)的效果,這從機(jī)器學(xué)習(xí)研究的方法論上來說是一個(gè)重大的進(jìn)步。神經(jīng)網(wǎng)絡(luò)集成是指子學(xué)習(xí)機(jī)為神經(jīng)網(wǎng)絡(luò)的集成學(xué)習(xí)算法,由于人工神經(jīng)網(wǎng)絡(luò)本身就被很廣泛地用于各類分類算法,所以神經(jīng)網(wǎng)絡(luò)集成也是分類器集成最常用的一種計(jì)算框架,成為目前國際機(jī)器學(xué)習(xí)和神經(jīng)計(jì)算界的一個(gè)長期活躍的研究熱點(diǎn)�，F(xiàn)有的集成學(xué)習(xí)算法存在兩個(gè)比較普遍性問題。一是通用性問題。沒有一個(gè)“萬能算法”能解決所有的問題,必須具體問題具體分析。二是性能問題。集成學(xué)習(xí)算法帶來了數(shù)倍于單學(xué)習(xí)機(jī)模式的計(jì)算量,在實(shí)時(shí)系統(tǒng)或者海量數(shù)據(jù)處理系統(tǒng)的應(yīng)用中會(huì)導(dǎo)致性能問題。針對上面這兩類問題,本論文的研究目標(biāo)主要包括:一是分別針對低維數(shù)據(jù)和高維數(shù)據(jù)這兩種比較典型的分類問題,提出了更加合適的集成算法組合。二是提出針對并行性計(jì)算優(yōu)化的集成算法,并將并行集成學(xué)習(xí)算法應(yīng)用在并行計(jì)算框架上解決實(shí)際問題。具體如下:1、現(xiàn)有基于模糊積分的神經(jīng)網(wǎng)絡(luò)集成算法,一般是以衡量正確率的模糊密度為基礎(chǔ)的,這樣來確定子神經(jīng)網(wǎng)絡(luò)權(quán)重的方式不夠全面。本論文設(shè)計(jì)了一個(gè)能夠從正確率、誤差距離和失效程度三方面更加有效和全面衡量子神經(jīng)網(wǎng)絡(luò)重要程度的模糊密度,并將其用于神經(jīng)網(wǎng)絡(luò)集成器的計(jì)算。通過對雙螺旋分類問題的研究,證明了提出的神經(jīng)網(wǎng)絡(luò)集成算法在這種典型的低維度數(shù)據(jù)分類問題上的有效性。2、高維度數(shù)據(jù)的分類問題,一般都需要基于特征抽取或者特征選擇的數(shù)據(jù)降維預(yù)處理。本論文設(shè)計(jì)了一種方法,通過采用多種特征抽取方法來對同一原始訓(xùn)練數(shù)據(jù)獲得多個(gè)訓(xùn)練集,從而提高子神經(jīng)網(wǎng)絡(luò)差異性。在另一方面,經(jīng)典的Adaboost算法在用于多類分類問題時(shí),容易忽略整體正確率不高、但對某個(gè)類別擁有分類“特長”的子神經(jīng)網(wǎng)絡(luò)。本論文提出多維Adaboost(Multi-Dimension Adaboost,MD-Adaboost)算法,通過為子神經(jīng)網(wǎng)絡(luò)對于不同分類的輸出設(shè)置獨(dú)立權(quán)重,使得各個(gè)子神經(jīng)網(wǎng)絡(luò)在輸出集成中能夠擁有更加合理的權(quán)值,從而提高神經(jīng)網(wǎng)絡(luò)集成分類器的整體性能。該算法應(yīng)用在人臉表情識別(Face Expression Recognition,FER)中獲得了較好的結(jié)果。3、集成分類算法在海量數(shù)據(jù)集的訓(xùn)練和分類中會(huì)產(chǎn)生巨大的計(jì)算量,針對這個(gè)問題,本論文提出了基于Mapreduce并行計(jì)算框架和遺傳算法的并行選擇性神經(jīng)網(wǎng)絡(luò)集成算法(Maprduce-baesd Selective Neural Network Ensemble with GA,MSNNE-GA)。算法通過“選擇”的手段降低了集成分類器的規(guī)模,同時(shí)通過使用Mapreduce框架實(shí)現(xiàn)了集成分類器在訓(xùn)練、選擇和分類多個(gè)階段的并行計(jì)算,有效縮短了算法的運(yùn)行時(shí)間。實(shí)驗(yàn)中使用該算法更優(yōu)地解決了雙螺旋分類問題,同時(shí)與單個(gè)分類器相比,分類的速度也有了大大的提高。4、上面提出的MSNNE-GA算法是全局優(yōu)化算法的一種,但其使用遺傳算法的選擇過程并行度不高,而且存在頻繁的數(shù)據(jù)交換損耗。除了全局優(yōu)化選擇算法,選擇性神經(jīng)網(wǎng)絡(luò)集成常用的方法還包括聚類。本論文提出了另一種可并行的選擇性神經(jīng)網(wǎng)絡(luò)集成方法(Selective Neural Network Ensemble with K-means and PSO,SNNE-KP),通過將聚類和類內(nèi)的全局優(yōu)化算法(或稱局部優(yōu)化算法)結(jié)合起來,不僅從提高子神經(jīng)網(wǎng)絡(luò)的多樣性和準(zhǔn)確性這兩個(gè)方面來共同提高神經(jīng)網(wǎng)絡(luò)集成的質(zhì)量,而且還提高了算法的整體并行度。在對UCI部分?jǐn)?shù)據(jù)集進(jìn)行分類的實(shí)驗(yàn)中,SNNE-KP算法獲得了更好的分類準(zhǔn)確率。除此之外,基于Hadoop的并行計(jì)算也能有效的提高神經(jīng)網(wǎng)絡(luò)集成分類器的構(gòu)造速度和分類速度。5、對基于混合神經(jīng)網(wǎng)絡(luò)計(jì)算平臺(Hybrid Neural-Net Computing Platform,HNetCP)的分布式虛擬仿人機(jī)器人(Virtual Humanoid Robot,VHR)進(jìn)行了擴(kuò)展,將基于Hadoop的并行計(jì)算框架作為機(jī)器人的學(xué)習(xí)模塊,實(shí)現(xiàn)了基于以上提出的SNNE-KP神經(jīng)網(wǎng)絡(luò)集成算法框架實(shí)現(xiàn)了人臉識別算法。在實(shí)驗(yàn)中完成了人臉識別與三維仿真系統(tǒng)的聯(lián)動(dòng)控制,并對集中式VHR和分布式VHR進(jìn)行了對比分析。
【關(guān)鍵詞】：集成學(xué)習(xí) 神經(jīng)網(wǎng)絡(luò)集成 Mapreduce 人臉表情識別 虛擬仿人機(jī)器人
【學(xué)位授予單位】：華南理工大學(xué)
【學(xué)位級別】：博士
【學(xué)位授予年份】：2015
【分類號】：TP181
【目錄】：

• 摘要5-7
• Abstract7-15
• 第一章 緒論15-26
• 1.1 研究的背景和意義15-17
• 1.1.1 機(jī)器學(xué)習(xí)概述15-16
• 1.1.2 集成學(xué)習(xí)的研究意義16
• 1.1.3 集成學(xué)習(xí)的性能問題16-17
• 1.2 集成學(xué)習(xí)概述17-20
• 1.2.1 集成學(xué)習(xí)研究的關(guān)鍵問題18
• 1.2.2 分類器集成18-19
• 1.2.3 神經(jīng)網(wǎng)絡(luò)集成19-20
• 1.2.4 并行集成學(xué)習(xí)20
• 1.3 研究動(dòng)機(jī)和研究目標(biāo)20-21
• 1.4 研究內(nèi)容21-24
• 1.4.1 基于模糊密度和模糊積分的神經(jīng)網(wǎng)絡(luò)集成分類器22
• 1.4.2 基于集成特征抽取和多維Adaboost算法的神經(jīng)網(wǎng)絡(luò)集成分類器22-23
• 1.4.3 基于遺傳算法的并行選擇性神經(jīng)網(wǎng)絡(luò)集成分類器23
• 1.4.4 基于聚類和局部優(yōu)化算法的并行選擇性神經(jīng)網(wǎng)絡(luò)集成分類器23-24
• 1.4.5 并行神經(jīng)網(wǎng)絡(luò)集成在分布式虛擬仿人機(jī)器人的應(yīng)用24
• 1.5 論文章節(jié)組織24-26
• 第二章 集成學(xué)習(xí)的理論基礎(chǔ)和研究現(xiàn)狀26-46
• 2.1 集成學(xué)習(xí)的框架26-27
• 2.2 集成學(xué)習(xí)的理論基礎(chǔ)27-28
• 2.3 集成學(xué)習(xí)的有效性分析28-31
• 2.3.1 有效性的內(nèi)部條件28-29
• 2.3.2 有效性的外部條件29-31
• 2.4 集成學(xué)習(xí)的算法分析31-37
• 2.4.1 子學(xué)習(xí)機(jī)的生成算法31-34
• 2.4.2 子學(xué)習(xí)機(jī)的集成算法34-37
• 2.5 集成學(xué)習(xí)的評估分析37-38
• 2.6 集成學(xué)習(xí)的研究現(xiàn)狀38-42
• 2.6.1 分類器集成的研究現(xiàn)狀38-40
• 2.6.2 神經(jīng)網(wǎng)絡(luò)集成研究現(xiàn)狀40-41
• 2.6.3 并行集成學(xué)習(xí)研究現(xiàn)狀41-42
• 2.7 本論文涉及的分類問題介紹42-45
• 2.7.1 雙螺旋分類問題42-43
• 2.7.2 人臉識別與人臉表情識別43-44
• 2.7.3 UCI數(shù)據(jù)庫44-45
• 2.8 本章小結(jié)45-46
• 第三章 基于模糊密度和模糊積分的神經(jīng)網(wǎng)絡(luò)集成分類器46-55
• 3.1 引言46
• 3.2 模糊積分與神經(jīng)網(wǎng)絡(luò)集成46-48
• 3.2.1 模糊測度、模糊密度和模糊積分46-48
• 3.2.2 模糊積分在神經(jīng)網(wǎng)絡(luò)集成中的應(yīng)用48
• 3.3 基于模糊積分的神經(jīng)網(wǎng)絡(luò)集成算法48-51
• 3.3.1 模糊密度和模糊積分的選擇48-50
• 3.3.2 算法描述及流程50-51
• 3.4 實(shí)驗(yàn)51-54
• 3.4.1 實(shí)驗(yàn)環(huán)境和參數(shù)設(shè)置51
• 3.4.2 單個(gè)神經(jīng)網(wǎng)絡(luò)與多神經(jīng)網(wǎng)絡(luò)集成比較51-52
• 3.4.3 成員神經(jīng)網(wǎng)絡(luò)參數(shù)對結(jié)果影響52-53
• 3.4.4 不同模糊密度函數(shù)比較53-54
• 3.5 本章小結(jié)54-55
• 第四章 基于集成特征抽取和多維Adaboost算法的神經(jīng)網(wǎng)絡(luò)集成分類器55-67
• 4.1 引言55
• 4.2 集成特征抽取方法55-59
• 4.2.1 人臉圖像的主成分分析（特征臉方法）56-57
• 4.2.2 Gabor濾波器57-58
• 4.2.3 集成特征抽取58-59
• 4.3 基于多維分類誤差調(diào)整的Adaboost算法（MD-Adaboost）59-63
• 4.3.1 Adaboost在多類問題中的應(yīng)用59-60
• 4.3.2 MD-Adaboost算法設(shè)計(jì)60-62
• 4.3.3 Adaboost與MD-Adaboost的比較62-63
• 4.4 實(shí)驗(yàn)和討論63-65
• 4.4.1 實(shí)驗(yàn)環(huán)境63
• 4.4.2 多特征抽取算法的有效性63-65
• 4.4.3 MD-Adaboost與其他算法對比65
• 4.5 本章小結(jié)65-67
• 第五章 基于遺傳算法的并行選擇性神經(jīng)網(wǎng)絡(luò)集成分類器67-83
• 5.1 引言67-70
• 5.1.1 選擇性集成67-68
• 5.1.2 選擇策略的相關(guān)研究68-69
• 5.1.3 Mapreduce69-70
• 5.2 基于遺傳算法的選擇性集70-73
• 5.2.1 子網(wǎng)絡(luò)的生成70-71
• 5.2.2 選擇策略71-72
• 5.2.3 集成算法72-73
• 5.3 選擇性集成算法的并行計(jì)算73-77
• 5.3.1 子神經(jīng)網(wǎng)絡(luò)的并行訓(xùn)練73-75
• 5.3.2 基于粗粒度并行遺傳算法的選擇和集成75-76
• 5.3.3 神經(jīng)網(wǎng)絡(luò)集成分類器并行的應(yīng)用計(jì)算76-77
• 5.4 實(shí)驗(yàn)和討論77-82
• 5.4.1 實(shí)驗(yàn)環(huán)境77
• 5.4.2 集成學(xué)習(xí)的效果77-78
• 5.4.3 選擇性集成與一般集成的比較78-79
• 5.4.4 基于Mapreduce并行計(jì)算的優(yōu)勢79-80
• 5.4.5 神經(jīng)網(wǎng)絡(luò)集成的規(guī)模對算法的影響80-82
• 5.5 本章小結(jié)82-83
• 第六章 基于聚類和局部優(yōu)化的并行選擇性神經(jīng)網(wǎng)絡(luò)集成分類器83-101
• 6.1 引言83-85
• 6.1.1 全局優(yōu)化選擇策略83-84
• 6.1.2 聚類選擇策略84-85
• 6.1.3 兩類選擇策略的分析比較85
• 6.2 基于聚類和局部優(yōu)化的選擇性神經(jīng)網(wǎng)絡(luò)集成算法（SNNE-KP）85-91
• 6.2.1 訓(xùn)練階段87
• 6.2.2 聚類階段87-88
• 6.2.3 類內(nèi)局部優(yōu)化選擇階段88-90
• 6.2.4 子神經(jīng)網(wǎng)絡(luò)集成階段90
• 6.2.5 SNNE-KP算法小結(jié)90-91
• 6.3 SNNE-KP算法在并行計(jì)算環(huán)境中的實(shí)現(xiàn)91-93
• 6.3.1 并行計(jì)算的時(shí)間分析91-93
• 6.3.2 并行計(jì)算框架93
• 6.4 實(shí)驗(yàn)和討論93-99
• 6.4.1 不同的集成算法在不同數(shù)據(jù)集上的比較93-96
• 6.4.2 個(gè)體神經(jīng)網(wǎng)絡(luò)分類數(shù)量的研究96-97
• 6.4.3 粒子群規(guī)模對集成的影響97-99
• 6.4.4 并行計(jì)算的優(yōu)勢99
• 6.5 本章小結(jié)99-101
• 第七章 并行神經(jīng)網(wǎng)絡(luò)集成在虛擬仿人機(jī)器人平臺的應(yīng)用101-113
• 7.1 引言101-102
• 7.2 虛擬仿人機(jī)器人平臺設(shè)計(jì)的相關(guān)基礎(chǔ)102-104
• 7.2.1 仿人機(jī)器人原型102
• 7.2.2 實(shí)驗(yàn)室網(wǎng)格平臺102-103
• 7.2.3 混合神經(jīng)網(wǎng)絡(luò)計(jì)算平臺103-104
• 7.3 虛擬仿人機(jī)器人平臺104-105
• 7.3.1 虛擬仿人機(jī)器人VHR104-105
• 7.3.2 仿人機(jī)器人三維實(shí)時(shí)仿真系統(tǒng)105
• 7.4 基于并行神經(jīng)網(wǎng)絡(luò)集成的人臉識別105-108
• 7.4.1 基于特征臉?biāo)惴ǖ娜四樚卣魈崛『徒稻S105-107
• 7.4.2 基于并行神經(jīng)網(wǎng)絡(luò)集成的分類判別107
• 7.4.3 功能機(jī)器人合作控制107-108
• 7.5 實(shí)驗(yàn)與分析108-111
• 7.5.1 實(shí)驗(yàn)配置108
• 7.5.2 實(shí)驗(yàn)結(jié)果108-111
• 7.6 本章小結(jié)111-113
• 結(jié)論與展望113-116
• 參考文獻(xiàn)116-129
• 攻讀博士學(xué)位期間取得的研究成果129-131
• 致謝131-132
• 附件132

【參考文獻(xiàn)】

中國期刊全文數(shù)據(jù)庫 前3條

1 顧曉敏;林錦國;梅雪;;基于模糊積分分類器融合的人臉識別[J];計(jì)算機(jī)工程;2010年18期

2 張春霞;張講社;;選擇性集成學(xué)習(xí)算法綜述[J];計(jì)算機(jī)學(xué)報(bào);2011年08期

3 傅強(qiáng),胡上序,趙勝穎;基于PSO算法的神經(jīng)網(wǎng)絡(luò)集成構(gòu)造方法[J];浙江大學(xué)學(xué)報(bào)(工學(xué)版);2004年12期

中國碩士學(xué)位論文全文數(shù)據(jù)庫 前1條

1 吳畏;開放式仿人機(jī)器人控制平臺設(shè)計(jì)與實(shí)現(xiàn)[D];華南理工大學(xué);2012年

  本文關(guān)鍵詞：神經(jīng)網(wǎng)絡(luò)集成分類方法及其在并行計(jì)算環(huán)境中的應(yīng)用研究，，由筆耕文化傳播整理發(fā)布。

本文編號：266484