基于深度隨機(jī)森林和知識蒸餾的高光譜圖像分類
發(fā)布時(shí)間:2022-01-08 01:43
高光譜圖像一般由數(shù)百個(gè)高分辨率波段組成,與多光譜圖像相比具備更豐富的信息內(nèi)容和更強(qiáng)大的特征表達(dá)能力,這使得對高光譜圖像進(jìn)行地物分類處理時(shí)可以得到更精確的結(jié)果。近年來,深度學(xué)習(xí)作為一種新興的計(jì)算方法已經(jīng)被應(yīng)用于各個(gè)領(lǐng)域,在高光譜圖像分類方面也取得了很好的效果。本論文主要在使用深度卷積神經(jīng)網(wǎng)絡(luò)對高光譜圖像進(jìn)行分類的基礎(chǔ)上,運(yùn)用知識蒸餾的思想,以一個(gè)具有很少的參數(shù)量的網(wǎng)絡(luò)取得令人滿意的精度。通常深度神經(jīng)網(wǎng)絡(luò)在取得較高的準(zhǔn)確率的同時(shí),往往需要較大的網(wǎng)絡(luò)規(guī)格。但是在實(shí)際應(yīng)用中,由于各種條件的限制并不允許過大的網(wǎng)絡(luò)規(guī)模。然而如果直接采用精簡的小型網(wǎng)絡(luò),由于標(biāo)簽包含的信息過于單一和網(wǎng)絡(luò)表達(dá)能力的限制,難以得到很好的分類效果。所以,我們采用知識蒸餾的基本思想,利用規(guī)模較大的網(wǎng)絡(luò)產(chǎn)生具有一定信息的預(yù)測概率,將其作為訓(xùn)練標(biāo)簽去指導(dǎo)另一個(gè)規(guī)模較小的網(wǎng)絡(luò),使得小網(wǎng)絡(luò)一樣可以取得很好的效果。因?yàn)橹苯邮褂弥R蒸餾的方法取得的效果并不理想,所以本文通過不同的方式來對大網(wǎng)絡(luò)的知識進(jìn)行學(xué)習(xí)。我們使用了大量的虛擬樣本來傳遞大網(wǎng)絡(luò)的知識,并針對虛擬樣本產(chǎn)生的方式或數(shù)量的不同對實(shí)際效果的影響進(jìn)行一定的探究,為本文所提出方法的...
【文章來源】:西安電子科技大學(xué)陜西省 211工程院校 教育部直屬院校
【文章頁數(shù)】:71 頁
【學(xué)位級別】:碩士
【部分圖文】:
IndianPines數(shù)據(jù)集(a)Thegroundtruth(b)1層分類準(zhǔn)確率:94.45%(c)2層分類準(zhǔn)確率:97.69%(d)3層分類準(zhǔn)確率:98.02%(e)4層分類準(zhǔn)確率:98.12%(f)5層分類準(zhǔn)確率:(d)(e)(f)
(a) (b) (c)(d) (e) (f)圖4.3 Pavia University數(shù)據(jù)集(a)The ground truth(b)1層分類準(zhǔn)確率: 95.58%(c)2層分類準(zhǔn)確率: 97.80%(d)3層分類準(zhǔn)確率: 98.06%(e)4層分類準(zhǔn)確率: 98.32%(f)5層分類準(zhǔn)確率:98.41%4.3.4隨機(jī)森林中包含的決策樹數(shù)目參數(shù)n分析模型中其實(shí)是集成了許許多多的隨機(jī)森林,而每個(gè)隨機(jī)森林中包含的決策樹數(shù)目將會(huì)對模型性能產(chǎn)生一定的影響。我們同樣在這兩個(gè)數(shù)據(jù)集上進(jìn)行實(shí)驗(yàn)。圖4.4和圖4.5分別給出了兩個(gè)數(shù)據(jù)集包含不同數(shù)目的決策樹時(shí)的準(zhǔn)確度曲線。以Indian Pines為例,我們可以看到當(dāng)僅有5棵決策樹的時(shí)候,其實(shí)驗(yàn)的結(jié)果明顯低于其他情況,因?yàn)檫^少的決策樹將會(huì)影響到模型的表達(dá)能力。但是當(dāng)10棵以上的時(shí)候所取得的精度增加也是比較輕微的,甚至在25棵時(shí),其精度是不如20棵的。同時(shí)更多的決策樹也就意味著更高的計(jì)算復(fù)雜度。因此我們將Indian Pines數(shù)據(jù)集的參數(shù)設(shè)置為20棵,同樣可以看到在University of Pavia數(shù)據(jù)集上也是存在著一個(gè)峰值,只不過在這個(gè)數(shù)據(jù)集上
DMFF分類準(zhǔn)確率圖4.5 University of Pavia數(shù)據(jù)集不同決策樹數(shù)目下DMFF分類準(zhǔn)確率4.3.5鄰域大小σ的參數(shù)分析在高光譜圖像分類中,將空間信息考慮到其中是非常有效的手段。因此這個(gè)鄰域的選擇也會(huì)在很大程度上影響著結(jié)果。增大鄰域的范圍將能有效地降低一些噪聲的干擾和類內(nèi)的數(shù)據(jù)特征復(fù)雜度。在表4.5中,我們給出了在不同的鄰域下的實(shí)驗(yàn)結(jié)果。從表格中我們可以看出隨著鄰域的擴(kuò)大,準(zhǔn)確率是會(huì)得到提升的,但是我們并沒有選擇更大的比如7×7或9×9,因?yàn)樵跍?zhǔn)確度的提升上收益并不是很高,但是卻是43
【參考文獻(xiàn)】:
期刊論文
[1]基于邊緣保持濾波的高光譜影像光譜-空間聯(lián)合分類[J]. 張成坤,韓敏. 自動(dòng)化學(xué)報(bào). 2018(02)
[2]基于類別平均距離的加權(quán)KNN分類算法[J]. 嚴(yán)曉明. 計(jì)算機(jī)系統(tǒng)應(yīng)用. 2014(02)
[3]基于灰度共生矩陣的紋理特征提取[J]. 高程程,惠曉威. 計(jì)算機(jī)系統(tǒng)應(yīng)用. 2010(06)
[4]當(dāng)前遙感技術(shù)發(fā)展及產(chǎn)業(yè)化分析[J]. 景貴飛. 地理信息世界. 2007(03)
[5]中國高光譜成像遙感應(yīng)用研究進(jìn)展[J]. 錢樂祥,泮學(xué)芹,趙芊. 國土資源遙感. 2004(02)
碩士論文
[1]基于機(jī)器學(xué)習(xí)的高光譜圖像地物分類研究[D]. 馬小麗.廈門大學(xué) 2014
[2]基于差異圖像的遙感圖像變化檢測新方法研究[D]. 劉博偉.西安電子科技大學(xué) 2013
[3]基于面向?qū)ο蟮母叻直媛蔬b感影像道路提取研究[D]. 申真.江西理工大學(xué) 2012
[4]基于支持向量機(jī)的高光譜圖像分類研究[D]. 喬蕾.哈爾濱工程大學(xué) 2008
[5]高光譜遙感圖像分類方法研究[D]. 楊希明.哈爾濱工程大學(xué) 2007
本文編號:3575656
【文章來源】:西安電子科技大學(xué)陜西省 211工程院校 教育部直屬院校
【文章頁數(shù)】:71 頁
【學(xué)位級別】:碩士
【部分圖文】:
IndianPines數(shù)據(jù)集(a)Thegroundtruth(b)1層分類準(zhǔn)確率:94.45%(c)2層分類準(zhǔn)確率:97.69%(d)3層分類準(zhǔn)確率:98.02%(e)4層分類準(zhǔn)確率:98.12%(f)5層分類準(zhǔn)確率:(d)(e)(f)
(a) (b) (c)(d) (e) (f)圖4.3 Pavia University數(shù)據(jù)集(a)The ground truth(b)1層分類準(zhǔn)確率: 95.58%(c)2層分類準(zhǔn)確率: 97.80%(d)3層分類準(zhǔn)確率: 98.06%(e)4層分類準(zhǔn)確率: 98.32%(f)5層分類準(zhǔn)確率:98.41%4.3.4隨機(jī)森林中包含的決策樹數(shù)目參數(shù)n分析模型中其實(shí)是集成了許許多多的隨機(jī)森林,而每個(gè)隨機(jī)森林中包含的決策樹數(shù)目將會(huì)對模型性能產(chǎn)生一定的影響。我們同樣在這兩個(gè)數(shù)據(jù)集上進(jìn)行實(shí)驗(yàn)。圖4.4和圖4.5分別給出了兩個(gè)數(shù)據(jù)集包含不同數(shù)目的決策樹時(shí)的準(zhǔn)確度曲線。以Indian Pines為例,我們可以看到當(dāng)僅有5棵決策樹的時(shí)候,其實(shí)驗(yàn)的結(jié)果明顯低于其他情況,因?yàn)檫^少的決策樹將會(huì)影響到模型的表達(dá)能力。但是當(dāng)10棵以上的時(shí)候所取得的精度增加也是比較輕微的,甚至在25棵時(shí),其精度是不如20棵的。同時(shí)更多的決策樹也就意味著更高的計(jì)算復(fù)雜度。因此我們將Indian Pines數(shù)據(jù)集的參數(shù)設(shè)置為20棵,同樣可以看到在University of Pavia數(shù)據(jù)集上也是存在著一個(gè)峰值,只不過在這個(gè)數(shù)據(jù)集上
DMFF分類準(zhǔn)確率圖4.5 University of Pavia數(shù)據(jù)集不同決策樹數(shù)目下DMFF分類準(zhǔn)確率4.3.5鄰域大小σ的參數(shù)分析在高光譜圖像分類中,將空間信息考慮到其中是非常有效的手段。因此這個(gè)鄰域的選擇也會(huì)在很大程度上影響著結(jié)果。增大鄰域的范圍將能有效地降低一些噪聲的干擾和類內(nèi)的數(shù)據(jù)特征復(fù)雜度。在表4.5中,我們給出了在不同的鄰域下的實(shí)驗(yàn)結(jié)果。從表格中我們可以看出隨著鄰域的擴(kuò)大,準(zhǔn)確率是會(huì)得到提升的,但是我們并沒有選擇更大的比如7×7或9×9,因?yàn)樵跍?zhǔn)確度的提升上收益并不是很高,但是卻是43
【參考文獻(xiàn)】:
期刊論文
[1]基于邊緣保持濾波的高光譜影像光譜-空間聯(lián)合分類[J]. 張成坤,韓敏. 自動(dòng)化學(xué)報(bào). 2018(02)
[2]基于類別平均距離的加權(quán)KNN分類算法[J]. 嚴(yán)曉明. 計(jì)算機(jī)系統(tǒng)應(yīng)用. 2014(02)
[3]基于灰度共生矩陣的紋理特征提取[J]. 高程程,惠曉威. 計(jì)算機(jī)系統(tǒng)應(yīng)用. 2010(06)
[4]當(dāng)前遙感技術(shù)發(fā)展及產(chǎn)業(yè)化分析[J]. 景貴飛. 地理信息世界. 2007(03)
[5]中國高光譜成像遙感應(yīng)用研究進(jìn)展[J]. 錢樂祥,泮學(xué)芹,趙芊. 國土資源遙感. 2004(02)
碩士論文
[1]基于機(jī)器學(xué)習(xí)的高光譜圖像地物分類研究[D]. 馬小麗.廈門大學(xué) 2014
[2]基于差異圖像的遙感圖像變化檢測新方法研究[D]. 劉博偉.西安電子科技大學(xué) 2013
[3]基于面向?qū)ο蟮母叻直媛蔬b感影像道路提取研究[D]. 申真.江西理工大學(xué) 2012
[4]基于支持向量機(jī)的高光譜圖像分類研究[D]. 喬蕾.哈爾濱工程大學(xué) 2008
[5]高光譜遙感圖像分類方法研究[D]. 楊希明.哈爾濱工程大學(xué) 2007
本文編號:3575656
本文鏈接:http://sikaile.net/kejilunwen/zidonghuakongzhilunwen/3575656.html
最近更新
教材專著