本文關(guān)鍵詞：快速多核學(xué)習(xí)分類研究及應(yīng)用

  更多相關(guān)文章： 多核學(xué)習(xí) 核評估 高光譜圖像分類 不平衡分類 自然圖像分類

【摘要】：核學(xué)習(xí)是一種非常流行的非線性分類問題解決方法,它通過構(gòu)建核矩陣來描述樣本在高維空間的相似程度,達(dá)到種類區(qū)分目的。多核學(xué)習(xí)是核學(xué)習(xí)新的發(fā)展和研究方向。相比于傳統(tǒng)的單核學(xué)習(xí),多核學(xué)習(xí)整合多個(gè)子核到一個(gè)統(tǒng)一的優(yōu)化框架內(nèi),從而尋求多個(gè)子核之間的一種最佳組合。多核學(xué)習(xí)可以有效避免核參數(shù)的經(jīng)驗(yàn)調(diào)節(jié),減少了人為參與。另外,當(dāng)子核對應(yīng)單個(gè)特征或者每一維時(shí),多核學(xué)習(xí)還可以很好地解決特征選擇和維數(shù)約簡問題。但是多核學(xué)習(xí)的高計(jì)算復(fù)雜度,使得它在學(xué)習(xí)訓(xùn)練過程中花費(fèi)了大量的時(shí)間。這一特性大大阻礙了多核學(xué)習(xí)在實(shí)際工程中的應(yīng)用。本論文針對這個(gè)問題,通過預(yù)先篩選有益于分類的子核和構(gòu)造隨機(jī)核的方法來加速多核學(xué)習(xí)的訓(xùn)練過程。此外,憑借在多核學(xué)習(xí)研究過程中得到的理論,本論文成功把多核學(xué)習(xí)應(yīng)用到高光譜圖像和自然圖像分類中。本論文的工作可以具體概括如下:1.針對多核學(xué)習(xí)復(fù)雜度高的問題,提出了選擇性的多核學(xué)習(xí)。通過理論分析,發(fā)現(xiàn)多核學(xué)習(xí)可以看作是集成學(xué)習(xí)的一種特殊形式。因此,選擇性多核學(xué)習(xí)使用集成策略預(yù)先選擇一些高辨別大差異的子核。為了評估核的辨別能力和差異性,設(shè)計(jì)了一種新的核評估方法。與經(jīng)典的核評估方法核排列相比,該評估方法能提供量化的結(jié)果與更精確的差異性評估。經(jīng)過預(yù)先選擇有益于分類的子核,選擇性多核學(xué)習(xí)節(jié)省了內(nèi)存,加快了訓(xùn)練過程。尤其是該方法可以與多核學(xué)習(xí)L∞范數(shù)約束相結(jié)合,從而大大節(jié)省了計(jì)算時(shí)間和內(nèi)存。其整個(gè)運(yùn)行代價(jià)僅僅相當(dāng)于運(yùn)行一次單核學(xué)習(xí)。通過大量的實(shí)驗(yàn)驗(yàn)證,該方法比傳統(tǒng)的多核學(xué)習(xí)方法,速度更快,耗用內(nèi)存更少,同時(shí)獲得了相當(dāng)或者更高的分類精度。2.針對多核學(xué)習(xí)中核矩陣構(gòu)造耗時(shí)太長的問題,提出了基于隨機(jī)核的多核學(xué)習(xí)方法。由極限學(xué)習(xí)機(jī)得到啟發(fā),當(dāng)單影層神經(jīng)網(wǎng)絡(luò)中的隱層節(jié)點(diǎn)數(shù)目足夠多,在隱藏節(jié)點(diǎn)權(quán)重隨機(jī)賦值的情況下,給定一個(gè)在任意區(qū)間無限可導(dǎo)的激活函數(shù),Single-hidden Layer Feedforward Neural Network(SLFN)可以無限逼近擬合輸入樣本集。由于激活函數(shù)中的權(quán)重可以隨機(jī)賦值,ELM是一種無參數(shù)的學(xué)習(xí)機(jī)。論文使用Extreme learning machine(ELM)中的激活函數(shù)為多核學(xué)習(xí)構(gòu)造隨機(jī)核,減少了待優(yōu)化的子核規(guī)模。尤其是該方法跟上文的選擇性多核學(xué)習(xí)方法相結(jié)合,從而大大加速了多核學(xué)習(xí)的核構(gòu)造和訓(xùn)練時(shí)間。并且,通過Rademacher復(fù)雜度分析,多核學(xué)習(xí)的一般性誤差上界隨著子核規(guī)模的減少而降低。因此,本文的方法理論上可以獲得更好的分類結(jié)果。通過在多個(gè)數(shù)據(jù)庫上驗(yàn)證,基于隨機(jī)核的方法使得多核學(xué)習(xí)速度更快,占用內(nèi)存更少,而且擁有相當(dāng)或者更高的分類精度。3.多核學(xué)習(xí)應(yīng)用于高光譜圖像分類識別。針對高光譜圖像維數(shù)過高的問題,提出了一種兩階段多核學(xué)習(xí)方法來進(jìn)行維數(shù)約簡。由于多核學(xué)習(xí)一般性誤差的上確界隨著子核數(shù)目的增加而升高,高光譜圖像中過高的維數(shù)生成了大量的子核。因此,直接使用多核學(xué)習(xí)對高光譜圖像進(jìn)行維數(shù)約簡是不合理的。論文設(shè)計(jì)了一種兩階段的多核學(xué)習(xí)方法,通過預(yù)先構(gòu)造有益于分類的子核,來降低待優(yōu)化的子核數(shù)目,從而獲得比直接使用多核學(xué)習(xí)更好的分類結(jié)果。在多個(gè)高光譜圖像上實(shí)驗(yàn)驗(yàn)證,對比于經(jīng)典的特征選擇方法,兩階段的多核學(xué)習(xí)獲得了更佳的分類性能。4.多核學(xué)習(xí)應(yīng)用于高光譜圖像不平衡分類識別。當(dāng)分類任務(wù)中存在某些種類樣本數(shù)量過少的時(shí)候,傳統(tǒng)的分類方法會因?yàn)閮A向于把樣本劃分為樣本數(shù)目較多的種類,而不能勝任。為了平衡各個(gè)種類的關(guān)系,集成學(xué)習(xí)是一種常用的方法。但是現(xiàn)有的集成方法沒有考慮所選的分類器,因此其所提供的集成策略針對某一具體的分類器而言往往不是最優(yōu)的。因?yàn)楦吖庾V圖像的高維小樣本特性,使得支撐矢量機(jī)(Support Vector Machine SVM)成為高光譜分類中一個(gè)常用的分類器。因?yàn)镾VM使用maximum margin作為分類準(zhǔn)則,所以論文充分考慮了高光譜圖像分類器的特性,借鑒了多核學(xué)習(xí)的方法,提出了一種基于maximum margin的集成策略。經(jīng)過多個(gè)高光譜圖像的實(shí)驗(yàn)驗(yàn)證,該方法在高光譜圖像分類上,要優(yōu)于傳統(tǒng)的不平衡分類方法。5.多核學(xué)習(xí)應(yīng)用于自然圖像分類識別。針對自然圖像分類中的金字塔劃分方法過于單一的問題,提出了一種彈性的金字塔劃分方法。論文不再拘束于金字塔正交四劃分的形式,可以任意地劃分圖像。因此。如何從隨意的劃分方式中選出最佳的一組劃分方式就非常重要了。論文采用第一個(gè)工作中的核評估方法來評估不同劃分方式的好壞,然后使用克隆免疫算法搜索出一組最佳的劃分方式。通過在多個(gè)自然圖像數(shù)據(jù)庫上實(shí)驗(yàn)比較得出,彈性金字塔方法比傳統(tǒng)的金字塔方法在自然圖像分類識別上具有更大的優(yōu)勢。
【關(guān)鍵詞】：多核學(xué)習(xí) 核評估 高光譜圖像分類 不平衡分類 自然圖像分類
【學(xué)位授予單位】：西安電子科技大學(xué)
【學(xué)位級別】：博士
【學(xué)位授予年份】：2015
【分類號】：TP391.41
【目錄】：

• 摘要5-7
• ABSTRACT7-13
• 符號對照表13-15
• 縮略語對照表15-20
• 第一章 緒論20-34
• 1.1 核學(xué)習(xí)20-21
• 1.2 多核學(xué)習(xí)的發(fā)展歷史及研究現(xiàn)狀21-24
• 1.2.1 半定規(guī)劃求解多核學(xué)習(xí)21-22
• 1.2.2 二階錐形規(guī)劃求解多核學(xué)習(xí)22
• 1.2.3 基于切平面的交替優(yōu)化求解多核學(xué)習(xí)22-23
• 1.2.4 基于梯度下降的交替優(yōu)化求解多核學(xué)習(xí)23-24
• 1.2.5 基于解析優(yōu)化的交替優(yōu)化求解多核學(xué)習(xí)24
• 1.3 高光譜遙感圖像分類24-28
• 1.3.1 高光譜圖像分類難點(diǎn)25-26
• 1.3.2 高光譜圖像維數(shù)約簡研究現(xiàn)狀26-28
• 1.3.3 高光譜圖像不平衡分類研究現(xiàn)狀28
• 1.4 自然圖像分類28-30
• 1.4.1 自然圖像分類的難點(diǎn)28-29
• 1.4.2 自然圖像分類研究現(xiàn)狀29-30
• 1.5 論文的主要內(nèi)容30-34
• 第二章 選擇性多核學(xué)習(xí)34-50
• 2.1 引言34
• 2.2 多核學(xué)習(xí)與集成學(xué)習(xí)的關(guān)系34-36
• 2.3 量化的核評估方法36-41
• 2.3.1 二元核評估37-38
• 2.3.2 核排列與二元核評估的比較38-41
• 2.4 選擇性的多核學(xué)習(xí)41-43
• 2.4.1 基于聚類的核選擇41-42
• 2.4.2 L∞約束下的選擇性多核學(xué)習(xí)優(yōu)化42-43
• 2.5 實(shí)驗(yàn)結(jié)果與分析43-48
• 2.5.1 實(shí)驗(yàn)設(shè)置43
• 2.5.2 UCI數(shù)據(jù)集上的實(shí)驗(yàn)43-46
• 2.5.3 場景圖像集上的實(shí)驗(yàn)46-48
• 2.6 本章小結(jié)48-50
• 第三章基于隨機(jī)核的多核學(xué)習(xí)50-64
• 3.1 引言50
• 3.2 基于隨機(jī)核的多核學(xué)習(xí)50-54
• 3.2.1 基于隨機(jī)核的多核學(xué)習(xí)時(shí)間復(fù)雜度分析50-51
• 3.2.2 隨機(jī)核的構(gòu)造51-53
• 3.2.3 基于隨機(jī)核的多核學(xué)習(xí)理論分析53-54
• 3.3 基于隨機(jī)核的選擇性多核學(xué)習(xí)54-55
• 3.4 實(shí)驗(yàn)結(jié)果與分析55-63
• 3.4.1 UCI數(shù)據(jù)集上的實(shí)驗(yàn)55-59
• 3.4.2 模擬雷達(dá)圖像庫的實(shí)驗(yàn)59-61
• 3.4.3 胃癌的淋巴結(jié)檢測實(shí)驗(yàn)61-63
• 3.5 本章小結(jié)63-64
• 第四章基于兩階段多核學(xué)習(xí)的高光譜降維64-82
• 4.1 引言64-65
• 4.2 多核學(xué)習(xí)的理論分析65-67
• 4.2.1 L1范數(shù)約束的多核學(xué)習(xí)一般性誤差分析65-66
• 4.2.2 兩階段多核學(xué)習(xí)的理論分析66-67
• 4.3 兩階段多核學(xué)習(xí)67-69
• 4.3.1 兩階段多核學(xué)習(xí)的第一階段68-69
• 4.3.2 兩階段多核學(xué)習(xí)的第二階段69
• 4.4 實(shí)驗(yàn)結(jié)果與分析69-80
• 4.4.1 實(shí)驗(yàn)設(shè)置69-71
• 4.4.2 Salinas圖像實(shí)驗(yàn)71-73
• 4.4.3 Indian Pines圖像實(shí)驗(yàn)73-75
• 4.4.4 Pavia圖像實(shí)驗(yàn)75-77
• 4.4.5 選擇的波段分析77-78
• 4.4.6 多核學(xué)習(xí)優(yōu)化時(shí)間分析78-79
• 4.4.7 參數(shù)分析79-80
• 4.5 本章小結(jié)80-82
• 第五章基于多核學(xué)習(xí)的不平衡高光譜圖像分類82-94
• 5.1 引言82
• 5.2 傳統(tǒng)分類器與經(jīng)典的不平衡分類器82-85
• 5.2.1 傳統(tǒng)分類器與不平衡數(shù)據(jù)82-83
• 5.2.2 經(jīng)典的不平衡分類器83-85
• 5.3 基于多核學(xué)習(xí)的不平衡分類器85-88
• 5.3.1 選用最大margin準(zhǔn)則的理由85-86
• 5.3.2 生成新分類器86-87
• 5.3.3 最大margin的分類器集成87
• 5.3.4 基于多核學(xué)習(xí)的最大margin分類器求解87-88
• 5.4 實(shí)驗(yàn)結(jié)果與分析88-92
• 5.4.1 實(shí)驗(yàn)設(shè)置88-90
• 5.4.2 分類結(jié)果比較與分析90-91
• 5.4.3 參數(shù)分析91-92
• 5.5 本章小結(jié)92-94
• 第六章基于多核學(xué)習(xí)的自然圖像分類94-114
• 6.1 引言94-96
• 6.2 空間金子塔劃分與多核學(xué)習(xí)的關(guān)系96-97
• 6.3 彈性空間金子塔劃分97-102
• 6.3.1 最大辨別力與差異性準(zhǔn)則97-98
• 6.3.2 基于克隆免疫的搜索98-100
• 6.3.3 基于多核學(xué)習(xí)的權(quán)重分配100-102
• 6.4 實(shí)驗(yàn)結(jié)果與分析102-112
• 6.4.1 實(shí)驗(yàn)設(shè)置102-103
• 6.4.2 Caltech101圖像庫實(shí)驗(yàn)103-108
• 6.4.3 Caltech256圖像庫實(shí)驗(yàn)108-109
• 6.4.4 Oxford flowers圖像庫實(shí)驗(yàn)109-110
• 6.4.5 參數(shù)分析110-112
• 6.5 本章小結(jié)112-114
• 第七章 總結(jié)與展望114-118
• 參考文獻(xiàn)118-134
• 致謝134-136
• 作者簡介136-138
• 1. 基本情況136
• 2. 教育背景136
• 3. 攻讀博士學(xué)位期間的研究成果136-138

【相似文獻(xiàn)】

中國期刊全文數(shù)據(jù)庫 前10條

1 諶德榮;宮久路;陳乾;曹旭平;;基于樣本分割的快速高光譜圖像異常檢測支持向量數(shù)據(jù)描述方法[J];兵工學(xué)報(bào);2008年09期

2 王雷;喬曉艷;董有爾;張姝;尚艷飛;;高光譜圖像技術(shù)在農(nóng)產(chǎn)品檢測中的應(yīng)用進(jìn)展[J];應(yīng)用光學(xué);2009年04期

3 蒲曉豐;雷武虎;張林虎;蔣奇材;;基于Fukunaga-Koontz變換的高光譜圖像異常檢測[J];紅外技術(shù);2010年04期

4 成寶芝;郭宗光;;高光譜圖像波段間相關(guān)特性研究[J];大慶師范學(xué)院學(xué)報(bào);2013年06期

5 王慶國;黃敏;朱啟兵;孫群;;基于高光譜圖像的玉米種子產(chǎn)地與年份鑒別[J];食品與生物技術(shù)學(xué)報(bào);2014年02期

6 楊龍;易宏杰;李因彥;;遙感高光譜圖像赤潮識別[J];傳感器世界;2007年05期

7 汪倩;陶鵬;;結(jié)合空間信息的高光譜圖像快速分類方法[J];微計(jì)算機(jī)信息;2010年21期

8 王立國;孫杰;肖倩;;結(jié)合空-譜信息的高光譜圖像分類方法[J];黑龍江大學(xué)自然科學(xué)學(xué)報(bào);2010年06期

9 馮朝麗;朱啟兵;朱曉;黃敏;;基于光譜特征的玉米品種高光譜圖像識別[J];江南大學(xué)學(xué)報(bào)(自然科學(xué)版);2012年02期

10 徐爽;何建國;馬瑜;梁慧琳;劉貴珊;賀曉光;;高光譜圖像技術(shù)在水果品質(zhì)檢測中的研究進(jìn)展[J];食品研究與開發(fā);2013年10期

中國重要會議論文全文數(shù)據(jù)庫 前10條

1 張兵;王向偉;鄭蘭芬;童慶禧;;高光譜圖像地物分類與識別研究[A];成像光譜技術(shù)與應(yīng)用研討會論文集[C];2004年

2 高連如;張兵;孫旭;李山山;張文娟;;高光譜數(shù)據(jù)降維與分類技術(shù)研究[A];第八屆成像光譜技術(shù)與應(yīng)用研討會暨交叉學(xué)科論壇文集[C];2010年

3 王成;何偉基;陳錢;;基于波段重組和小波變換的高光譜圖像嵌入式壓縮方法[A];黑龍江、江蘇、山東、河南、江西 五省光學(xué)（激光）聯(lián)合學(xué)術(shù)‘13年會論文（摘要）集[C];2013年

4 孫蕾;羅建書;;基于分類預(yù)測的高光譜遙感圖像無損壓縮[A];第一屆建立和諧人機(jī)環(huán)境聯(lián)合學(xué)術(shù)會議（HHME2005）論文集[C];2005年

5 楊勇;劉木華;鄒小蓮;苗蓬勃;趙珍珍;;基于高光譜圖像技術(shù)的獼猴桃硬度品質(zhì)檢測[A];走中國特色農(nóng)業(yè)機(jī)械化道路——中國農(nóng)業(yè)機(jī)械學(xué)會2008年學(xué)術(shù)年會論文集（下冊）[C];2008年

6 張曉紅;張立福;王晉年;童慶禧;;HJ-1A衛(wèi)星高光譜遙感圖像質(zhì)量綜合評價(jià)[A];第八屆成像光譜技術(shù)與應(yīng)用研討會暨交叉學(xué)科論壇文集[C];2010年

7 高東生;高連知;;基于獨(dú)立分量分析的高光譜圖像目標(biāo)盲探測方法研究[A];國家安全地球物理叢書（八）——遙感地球物理與國家安全[C];2012年

8 馮維一;陳錢;何偉基;;基于小波稀疏的高光譜目標(biāo)探測算法[A];黑龍江、江蘇、山東、河南、江西 五省光學(xué)（激光）聯(lián)合學(xué)術(shù)‘13年會論文（摘要）集[C];2013年

9 彭妮娜;易維寧;方勇華;;基于核函數(shù)的高光譜圖像信息提取研究[A];光子科技創(chuàng)新與產(chǎn)業(yè)化——長三角光子科技創(chuàng)新論壇暨2006年安徽博士科技論壇論文集[C];2006年

10 蒲曉豐;雷武虎;黃濤;王迪;;基于穩(wěn)健背景子空間的高光譜圖像異常檢測[A];中國光學(xué)學(xué)會2010年光學(xué)大會論文集[C];2010年

中國博士學(xué)位論文全文數(shù)據(jù)庫 前10條

1 普晗曄;高光譜遙感圖像的解混理論和方法研究[D];復(fù)旦大學(xué);2014年

2 王亮亮;非線性流形結(jié)構(gòu)在高光譜圖像異常檢測中的應(yīng)用研究[D];國防科學(xué)技術(shù)大學(xué);2014年

3 賀智;改進(jìn)的經(jīng)驗(yàn)?zāi)B(tài)分解算法及其在高光譜圖像分類中的應(yīng)用[D];哈爾濱工業(yè)大學(xué);2014年

4 魏然;基于成像機(jī)理分析的高光譜圖像信息恢復(fù)研究[D];哈爾濱工業(yè)大學(xué);2015年

5 葉珍;高光譜圖像特征提取與分類算法研究[D];西北工業(yè)大學(xué);2015年

6 馮婕;基于軟計(jì)算和互信息理論的遙感圖像地物分類[D];西安電子科技大學(xué);2014年

7 孫濤;快速多核學(xué)習(xí)分類研究及應(yīng)用[D];西安電子科技大學(xué);2015年

8 賀霖;高光譜圖像自動目標(biāo)檢測技術(shù)研究[D];西北工業(yè)大學(xué);2007年

9 周爽;蟻群算法在高光譜圖像降維和分類中的應(yīng)用研究[D];哈爾濱工業(yè)大學(xué);2010年

10 陳雨時(shí);基于光譜特性的高光譜圖像壓縮方法研究[D];哈爾濱工業(yè)大學(xué);2007年

中國碩士學(xué)位論文全文數(shù)據(jù)庫 前10條

1 豐爍;高光譜圖像波段選取問題的改進(jìn)算法研究[D];昆明理工大學(xué);2015年

2 趙偉彥;果蔬干燥過程中的品質(zhì)無損檢測技術(shù)研究[D];江南大學(xué);2015年

3 馬亞楠;果蔬中內(nèi)部害蟲的高光譜圖像檢測技術(shù)研究[D];江南大學(xué);2015年

4 劉大洋;基于近紅外光譜和高光譜圖像技術(shù)無損識別獼猴桃膨大果[D];西北農(nóng)林科技大學(xué);2015年

5 王坤;高光譜圖像異常目標(biāo)檢測及光譜成像在偽裝評估方面的應(yīng)用研究[D];南京理工大學(xué);2015年

6 王啟聰;高光譜圖像分類的GPU并行優(yōu)化研究[D];南京理工大學(xué);2015年

7 程凱;無先驗(yàn)信息的高光譜圖像小目標(biāo)檢測算法研究[D];蘇州大學(xué);2015年

8 李秩期;基于高光譜及多信息融合的馬鈴薯外部缺陷無損檢測研究[D];寧夏大學(xué);2015年

9 王健;基于高光譜圖像的馬鈴薯形狀及重量分類識別建模研究[D];寧夏大學(xué);2015年

10 吳蓓芬;偏振高光譜圖像場景仿真及分類方法研究[D];哈爾濱工業(yè)大學(xué);2015年

，

本文編號：1045593