本文關(guān)鍵詞：特征提取與集成學(xué)習(xí)算法的研究及應(yīng)用，，由筆耕文化傳播整理發(fā)布。

【摘要】：特征提取與集成學(xué)習(xí)算法一直是當(dāng)前機(jī)器學(xué)習(xí)中的研究熱點(diǎn),在多個(gè)領(lǐng)域有著成功的應(yīng)用。但集成學(xué)習(xí)技術(shù)還沒有成熟,在研究過程中仍然存在著眾多待解決的問題,在應(yīng)用上也和人們期待的水平相去甚遠(yuǎn)。 本課題對(duì)特征提取與集成學(xué)習(xí)進(jìn)行了深入地研究,一方面分析了現(xiàn)有方法的優(yōu)劣,另一方面,研究了影響特征提取與集成學(xué)習(xí)算法性能的各個(gè)因素,這為進(jìn)一步改進(jìn)特征提取與集成學(xué)習(xí)做好鋪墊。在現(xiàn)有算法的研究基礎(chǔ)上,提出了新的特征提取與集成學(xué)習(xí)算法。本論文的主要研究?jī)?nèi)容和創(chuàng)新點(diǎn)如下： 1)核主成分分析與多層感知器神經(jīng)網(wǎng)絡(luò)是流行的特征提取算法,但這些算法存在效率低下與易陷于局部最優(yōu)解等問題。針對(duì)KPCA與MLP算法存在的問題,提出了一種新穎的特征提取算法—基于最大間隔超平面的增強(qiáng)的特征提取算法。該算法獨(dú)立于輸入樣本的概率分布,通過采用隔間最大化且兩兩正交的最大分割超平面,將輸入樣本映射到超平面的法線所構(gòu)成的子空間中,實(shí)現(xiàn)輸入樣本的特征提取。在對(duì)現(xiàn)實(shí)世界數(shù)據(jù)集wine與AR的特征提取的實(shí)驗(yàn)表明,基于最大間隔超平面的增強(qiáng)特征提取算法在執(zhí)行效率,識(shí)別準(zhǔn)確率方面均超出了KPCA與MLP的執(zhí)行效率與識(shí)別準(zhǔn)確率。最后對(duì)這些實(shí)驗(yàn)結(jié)果進(jìn)行了解釋。 2)特征提取技術(shù)的應(yīng)用依賴于數(shù)據(jù)的固有屬性,研究了當(dāng)前流行的特征提取技術(shù),并針對(duì)這些特征提取技術(shù)所存在的弱點(diǎn),提出了一種新穎的特征提取算法—強(qiáng)健特征提取算法,該算法分為兩個(gè)階段,以同時(shí)最大化不同類之間的距離與最小化類內(nèi)距離為目標(biāo)。實(shí)驗(yàn)表明,在用強(qiáng)健特征提取算法對(duì)現(xiàn)實(shí)世界數(shù)據(jù)集進(jìn)行特征提取時(shí),所表現(xiàn)出的性能在分類精度與效率的指標(biāo)上均能達(dá)到最優(yōu)。 3)傳統(tǒng)的集成學(xué)習(xí)算法存在無法依據(jù)數(shù)據(jù)的特點(diǎn)進(jìn)行分類的缺陷。在此基礎(chǔ)上,首先用間隔分布刻畫數(shù)據(jù)的特點(diǎn),然后將其引入到標(biāo)準(zhǔn)的支持向量機(jī)中,并依據(jù)數(shù)據(jù)分布特點(diǎn)更新支持向量機(jī)內(nèi)核函數(shù),對(duì)最初的內(nèi)核函數(shù)重新進(jìn)行保形調(diào)整,增加分類邊界附近的Riemann度量,增大不同類之間的分類間隔,實(shí)現(xiàn)標(biāo)準(zhǔn)支持向量機(jī)算法的改進(jìn)。將此改進(jìn)的SVM算法作為基學(xué)習(xí)器,構(gòu)建集成學(xué)習(xí)算法,提出了基于數(shù)據(jù)特點(diǎn)的受監(jiān)督集成學(xué)習(xí)算法—改進(jìn)支持向量機(jī)的集成學(xué)習(xí)算法。最后通過實(shí)驗(yàn)證實(shí)了所提出的集成學(xué)習(xí)算法的優(yōu)越性。 4)當(dāng)前流行的聚類集成學(xué)習(xí)算法存在缺陷,即無法依據(jù)不同數(shù)據(jù)集的不同特點(diǎn),給出恰當(dāng)?shù)奶幚矸桨?提出了一種新穎的聚類集成學(xué)習(xí)算法—基于數(shù)據(jù)特點(diǎn)的增強(qiáng)聚類集成學(xué)習(xí)算法,該算法由基聚類器的生成,基聚類器的選擇與共識(shí)函數(shù)構(gòu)成。該算法依據(jù)數(shù)據(jù)的特點(diǎn),通過啟發(fā)式方法,選出合適的基聚類器,構(gòu)建最終的基聚類器集合,產(chǎn)生最終聚類結(jié)果。實(shí)驗(yàn)中,同其他算法相比,所提出算法的聚類誤差始終最低。在增加候基聚類器的情況下,所提出算法的NMI值始終高于用于比較算法的NMI值。因此,同這些流行的聚類集成學(xué)習(xí)算法相比,所提出算法的聚類精度最高,可伸縮性最強(qiáng)。所提出的算法能夠依據(jù)數(shù)據(jù)集的不同的特性進(jìn)行處理,是一種很有前途的自適應(yīng)聚類集成算法。 5)將特征提取與集成學(xué)習(xí)算法的應(yīng)用到入侵檢測(cè)中,詳細(xì)分析了入侵檢測(cè)數(shù)據(jù)集—KDDCUP99。在對(duì)KDDCUP99做了適當(dāng)?shù)奶幚砗?成功將所提出的特征提取與集成學(xué)習(xí)算法應(yīng)用到入侵檢測(cè)中,并提出了一種新穎的入侵檢測(cè)模型—集成入侵檢測(cè)模型。最后比較了經(jīng)典的集成學(xué)習(xí)算法和本論文提出的基于集成學(xué)習(xí)算法的集成入侵檢測(cè)模型在KDDCUP99入侵檢測(cè)數(shù)據(jù)集上的檢測(cè)效果。
【關(guān)鍵詞】：特征提取 最大間隔 集成學(xué)習(xí)算法 分類 入侵檢測(cè)
【學(xué)位授予單位】：北京科技大學(xué)
【學(xué)位級(jí)別】：博士
【學(xué)位授予年份】：2015
【分類號(hào)】：TP181
【目錄】：

• 致謝4-5
• 摘要5-7
• Abstract7-14
• 插圖和附表清單14-16
• 縮寫清單16-17
• 1 引言17-31
• 1.1 課題的背景及應(yīng)用17-18
• 1.2 文獻(xiàn)綜述18-26
• 1.2.1 集成學(xué)習(xí)研究現(xiàn)狀18-23
• 1.2.2 集成學(xué)習(xí)算法存在的問題23-25
• 1.2.3 集成學(xué)習(xí)與特征提取25-26
• 1.2.4 特征提取存在的問題26
• 1.3 論文的主要研究工作26-28
• 1.4 論文的創(chuàng)新之處28-29
• 1.5 論文的組織結(jié)構(gòu)29-31
• 2 基于最大間隔超平面的增強(qiáng)特征提取算法31-50
• 2.1 問題提出31
• 2.2 相關(guān)研究31-32
• 2.3 特征提取問題與算法32-36
• 2.3.1 KPCA特征提取算法33
• 2.3.2 MLP特征提取算法33-34
• 2.3.3 多維尺度算法34
• 2.3.4 ISOMAP算法34-35
• 2.3.5 最大方差展開算法35
• 2.3.6 擴(kuò)散映射框架35
• 2.3.7 局部線性嵌入35-36
• 2.4 增強(qiáng)的特征提取方法36-39
• 2.5 仿真實(shí)驗(yàn)39-49
• 2.5.1 實(shí)驗(yàn)一39-43
• 2.5.2 實(shí)驗(yàn)二43-49
• 2.6 仿真實(shí)驗(yàn)49-50
• 3 強(qiáng)健特征提取算法50-62
• 3.1 問題的提出50
• 3.2 相關(guān)研究50-52
• 3.3 強(qiáng)健特征提取方法52-55
• 3.4 仿真實(shí)驗(yàn)55-61
• 3.5 本章小結(jié)61-62
• 4 基于數(shù)據(jù)特點(diǎn)的改進(jìn)SVM集成學(xué)習(xí)算法62-77
• 4.1 問題提出62
• 4.2 相關(guān)研究62-63
• 4.3 支持向量機(jī)SVM63-66
• 4.3.1 支持向量63-64
• 4.3.2 內(nèi)核函數(shù)的幾何特性64-66
• 4.4 SVM的間隔分布66-69
• 4.5 改進(jìn)的SVM算法69-70
• 4.6 仿真實(shí)驗(yàn)70-75
• 4.7 本章小結(jié)75-77
• 5 基于數(shù)據(jù)特點(diǎn)的增強(qiáng)聚類集成學(xué)習(xí)算法77-88
• 5.1 問題提出77
• 5.2 相關(guān)研究77-78
• 5.3 聚類集成問題78-79
• 5.4 ECECD算法79-82
• 5.4.1 基聚類器生成79
• 5.4.2 基聚類器選擇79-81
• 5.4.3 共識(shí)函數(shù)81-82
• 5.4.4 ECECD算法步驟82
• 5.5 仿真實(shí)驗(yàn)82-87
• 5.6 本章小結(jié)87-88
• 6 特征提取與集成學(xué)習(xí)算法在入侵檢測(cè)中的應(yīng)用88-101
• 6.1 問題的提出88
• 6.2 相關(guān)研究88-90
• 6.3 整合分類器90-93
• 6.3.1 決策輪廓矩陣90
• 6.3.2 靜態(tài)整合器90-91
• 6.3.3 動(dòng)態(tài)整合器91-92
• 6.3.4 獨(dú)立特征子集整合器92-93
• 6.4 集成IDS模型93-96
• 6.5 入侵檢測(cè)實(shí)驗(yàn)96-100
• 6.5.1 數(shù)據(jù)預(yù)處理96
• 6.5.2 實(shí)驗(yàn)結(jié)果96-100
• 6.6 本章小結(jié)100-101
• 7 結(jié)論與展望101-105
• 7.1 結(jié)論101-103
• 7.2 展望103-105
• 參考文獻(xiàn)105-118
• 作者簡(jiǎn)歷及在學(xué)研究成果118-121
• 學(xué)位論文數(shù)據(jù)集121

【共引文獻(xiàn)】

中國(guó)期刊全文數(shù)據(jù)庫(kù) 前10條

1 韓敏;劉賁;;一種改進(jìn)的旋轉(zhuǎn)森林分類算法[J];電子與信息學(xué)報(bào);2013年12期

2 XU Ben-zhu;ZHANG Xing-ling;;Flexible Personnel Scheduling in the Parallel Environment[J];Computer Aided Drafting,Design and Manufacturing;2014年02期

3 雷苗;彭宇;彭喜元;;一種面向混沌時(shí)間序列預(yù)測(cè)的虛擬特征提取算法[J];電子與信息學(xué)報(bào);2014年10期

4 程文冬;付銳;張文霞;;動(dòng)態(tài)光照下駕駛?cè)嗣娌刻卣髯R(shí)別算法與試驗(yàn)研究[J];公路交通科技;2014年10期

5 徐鑫;;嵌入拒識(shí)代價(jià)的投票式極限學(xué)習(xí)機(jī)（英文）[J];安徽大學(xué)學(xué)報(bào)(自然科學(xué)版);2014年06期

6 許良鳳;李艷秋;胡敏;劉盛中;王曉華;;基于I-DCV的人臉識(shí)別方法[J];電子測(cè)量與儀器學(xué)報(bào);2015年01期

7 琚春華;鄒江波;;基于信息熵差異性度量的數(shù)據(jù)流增量集成分類算法[J];電信科學(xué);2015年02期

8 于博;王力;牛錚;;基于中性集對(duì)北川羌族自治縣新城人工建設(shè)用地的識(shí)別[J];國(guó)土資源遙感;2015年01期

9 湯井田;曹揚(yáng);肖嘉瑩;郭曲練;;Predication of plasma concentration of remifentanil based on Elman neural network[J];Journal of Central South University;2013年11期

10 張利;劉文生;;基于兩種遺傳算法的柔性制造線仿真優(yōu)化[J];武漢工業(yè)學(xué)院學(xué)報(bào);2013年03期

  本文關(guān)鍵詞：特征提取與集成學(xué)習(xí)算法的研究及應(yīng)用，由筆耕文化傳播整理發(fā)布。

本文編號(hào)：326984