【摘要】：隨著對(duì)地觀測(cè)技術(shù)的不斷發(fā)展,遙感影像的分類在軍事、農(nóng)業(yè)等領(lǐng)域發(fā)揮著重要的作用。傳統(tǒng)的遙感影像分類方法需要人工設(shè)計(jì)特征和參數(shù),使得模型的泛化性差且分類精度低。深度學(xué)習(xí)作為一種新興的技術(shù),在圖像分類領(lǐng)域取得了突破性進(jìn)展,它能夠自動(dòng)的學(xué)習(xí)圖像的深層特征,具有較高的識(shí)別準(zhǔn)確率。由于深度學(xué)習(xí)模型參數(shù)較多,一般采用GPU服務(wù)器對(duì)其進(jìn)行訓(xùn)練。但是遙感影像數(shù)據(jù)量較大,單GPU服務(wù)器無法高效的管理海量遙感影像。因此,本文提出了一種基于分布式存儲(chǔ)的海量遙感影像分類方法,該方法將分布式文件系統(tǒng)作為底層的存儲(chǔ)架構(gòu),在上層采用GPU服務(wù)器訓(xùn)練改進(jìn)后的遙感影像分類模型。論文的主要研究?jī)?nèi)容如下所示:(1)為解決單GPU服務(wù)器無法高效地管理海量遙感影像的問題,本文提出了一種基于HBase的海量遙感影像并行處理方法。其利用HDFS分布式文件系統(tǒng)和分布式數(shù)據(jù)庫(kù)HBase構(gòu)造了面向遙感影像應(yīng)用的并行處理架構(gòu),對(duì)大規(guī)模遙感影像進(jìn)行管理。本文采用希爾伯特曲線和網(wǎng)格索引相結(jié)合的索引方式,保證遙感數(shù)據(jù)在HBase的物理存儲(chǔ)結(jié)構(gòu)上具有較高的空間臨近性。同時(shí)在影像金字塔的構(gòu)建和數(shù)據(jù)存儲(chǔ)的過程中,本文提出了一種基于MapReduce的并行處理方法,有效的減少了數(shù)據(jù)的存儲(chǔ)與讀取時(shí)間。實(shí)驗(yàn)結(jié)果表明,基于HBase的并行處理遙感影像的方法,可以快速的處理大規(guī)模遙感影像。與Oracle和MongoDB存儲(chǔ)方法相比,該方法具有較高的擴(kuò)展性和較短的處理時(shí)間,能夠?yàn)榇笠?guī)模遙感影像的分類提供良好的數(shù)據(jù)管理服務(wù)。(2)為了減少遙感影像分類模型的訓(xùn)練時(shí)間和提高分類精度,本文提出了一種基于遷移學(xué)習(xí)改進(jìn)的U-Net網(wǎng)絡(luò)模型。該方法首先基于分布式存儲(chǔ)結(jié)構(gòu)設(shè)計(jì)了一種并行采樣算法MRSW,其充分利用了遙感影像金字塔數(shù)據(jù),縮短了訓(xùn)練數(shù)據(jù)的構(gòu)造時(shí)間。然后采用VGG16模型的卷積參數(shù)用于初始化U-Net模型,加速了模型的收斂速度;為了避免模型產(chǎn)生過擬合,本文對(duì)U-Net模型下采樣前和上采樣通道合并后進(jìn)行Batch Normalization操作;由于遙感影像中類別分布不均衡,導(dǎo)致模型的分類精度較低,本文將用focal loss擴(kuò)展到多分類作為損失函數(shù),增加錯(cuò)分樣本的損失權(quán)重提高了模型的分類精度。實(shí)驗(yàn)結(jié)果證明,本文提出的基于遷移學(xué)習(xí)改進(jìn)的U-Net模型在訓(xùn)練過程中更加穩(wěn)定,在減少模型訓(xùn)練時(shí)間的同時(shí)具有較高的泛化能力。其在測(cè)試數(shù)據(jù)集上可達(dá)到94.12%的準(zhǔn)確率,較原始U-Net模型提高了 5.88%。
【圖文】：

，關(guān)技術(shù)；同時(shí)，對(duì)遷移學(xué)習(xí)方法進(jìn)行論述介紹了卷積神經(jīng)網(wǎng)絡(luò)和全卷和特點(diǎn)，將其應(yīng)用于遙感影像的分類中。逡逑布式存儲(chǔ)相關(guān)技術(shù)逡逑式文件系統(tǒng)將將物理存儲(chǔ)資源不局限在本地節(jié)點(diǎn)，而是通過網(wǎng)絡(luò)與其單機(jī)的處理方法難以存儲(chǔ)海量的遙感數(shù)據(jù)，分布式文件系統(tǒng)可以動(dòng)態(tài)儲(chǔ)容量，解決了大規(guī)模遙感影像的存儲(chǔ)問題。逡逑ａｄｏｏｐ邋概述逡逑ｏｏｐ由Ａｐａｃｈｅ邋Ｓｏｆｔｗａｒｅ邋Ｆｏｕｎｄａｔｉｏｎ公司于２００５年秋天作為Ｌｕｃｅｎｅ一部分正式引入，是一個(gè)運(yùn)行在普通物理機(jī)上的分布式文件系統(tǒng)與并ａｄｏｏｐ是一個(gè)開源的云計(jì)算平臺(tái)，能夠?yàn)楹Ａ繑?shù)據(jù)提供高效地、伸縮并行處理軟件框架。它通過采用多副本存儲(chǔ)的冗余存儲(chǔ)方式保證了系解決了實(shí)際環(huán)境中，計(jì)算節(jié)點(diǎn)失效、并行任務(wù)執(zhí)行失敗的情況。由于成本較低的普通機(jī)與組成，其可以快速的利用多臺(tái)ＰＣ機(jī)搭建出一個(gè)量大的并行集群環(huán)境。邐邐逡逑

逡逑圖２－１展示了邋Ｈａｄｏｏｐ的架構(gòu)，其主要包括分布式存儲(chǔ)（ＨＤＦＳ）和分布式計(jì)算框架逡逑（ＭａｐＲｅｄｕｃｅ）兩個(gè)部分，其中主節(jié)點(diǎn)負(fù)責(zé)管理集群的運(yùn)行狀態(tài)，從節(jié)點(diǎn)作為數(shù)據(jù)存儲(chǔ)逡逑單元。逡逑２．１．２分布式文件系統(tǒng)逡逑分布式文件系統(tǒng)ＨＤＦＳ邋（Ｈａｄｏｏｐ邋Ｄｉｓｔｒｉｂｕｔｅｄ邋Ｈｉｅ邋Ｓｙｓｔｅｍ）是Ｈａｄｏｏｐ框架的主要組逡逑件之一［５６］。其采用多副本存儲(chǔ)的方式將存儲(chǔ)數(shù)據(jù)分散到集群中的多個(gè)計(jì)算節(jié)點(diǎn)中，保證逡逑了邋ＨＤＦＳ中存儲(chǔ)數(shù)據(jù)具有較高的可靠性和穩(wěn)定性，為用戶提供了大規(guī)模數(shù)據(jù)的存儲(chǔ)與訪逡逑問功能。其架構(gòu)圖如圖２－２所示。逡逑＾邐］邋Ｍ＝Ｔ．逡逑Ｓ？！邐＾；邐邐逡逑Ｍｅｔａｄａｔａ邋ｏｐｓ邋／邐＼逡逑，邋＼逡逑＾邐＾＾Ｂｌｏｃｋ邋ｏｐｓ逡逑Ｃ邋Ｃｌｉｅｎｔ邋Ｊ逡逑＊１邐ＤａｔａＮｏｄｅｓ邐＇Ｖ逡逑Ｉ邋Ｒｅａｄ邋ＤａｔａＮｏｄｅ邐Ｎ．逡逑□邋□邐□邋□邋口邋□邋Ｒｅｐｌｉｃａｔｉｏｎ邋□邋Ｏ逡逑ＥＺ１邐WW邐□逡逑Ｒａｃｋｌ邐Ｒａｃｋ２逡逑＾邋Ｃｌｉｅｎｔ邋Ｊ逡逑圖２－２邋ＨＤＦＳ架構(gòu)圖逡逑分布式文件系統(tǒng)ＨＤＦＳ主要由兩個(gè)部分組成：主節(jié)點(diǎn)Ｎａｍｅｎｏｄｅ和從節(jié)點(diǎn)逡逑ＤａｔａＮｏｄｅ。主節(jié)點(diǎn)用于存儲(chǔ)在ＨＤＦＳ上的元數(shù)據(jù)，主要負(fù)責(zé)Ｈａｄｏｏｐ集群的運(yùn)行監(jiān)控和逡逑用戶發(fā)出的數(shù)據(jù)請(qǐng)求等，是分布式文件系統(tǒng)的核心部分。從節(jié)點(diǎn)ＤａｔａＮｏｄｅ中存儲(chǔ)具體逡逑的數(shù)據(jù)和執(zhí)行用戶提交的數(shù)據(jù)處理任務(wù)，，其最小的存儲(chǔ)單元不是字節(jié)，而是數(shù)據(jù)塊，這逡逑樣在處理大規(guī)模數(shù)據(jù)事可以更好的利用硬盤的存儲(chǔ)效率。在ＨＤＦＳ１．０系統(tǒng)中塊大小為逡逑６４Ｍ
【學(xué)位授予單位】：東北林業(yè)大學(xué)
【學(xué)位級(jí)別】：碩士
【學(xué)位授予年份】：2019
【分類號(hào)】：TP751

【相似文獻(xiàn)】

相關(guān)期刊論文 前10條

1 朱丹瑤;;遙感影像分類方法研究[J];黑龍江科技信息;2012年33期

2 賈坤;李強(qiáng)子;田亦陳;吳炳方;;遙感影像分類方法研究進(jìn)展[J];光譜學(xué)與光譜分析;2011年10期

3 杜玫芳;;神經(jīng)網(wǎng)絡(luò)在遙感影像分類應(yīng)用中的若干進(jìn)展[J];科技情報(bào)開發(fā)與經(jīng)濟(jì);2007年27期

4 趙海強(qiáng);;基于樣本優(yōu)選改進(jìn)的隨機(jī)森林遙感影像分類研究[J];城市勘測(cè);2017年04期

5 黃恩興;;遙感影像分類結(jié)果的不確定性研究[J];中國(guó)農(nóng)學(xué)通報(bào);2010年05期

6 李爽,丁圣彥,許叔明;遙感影像分類方法比較研究[J];河南大學(xué)學(xué)報(bào)(自然科學(xué)版);2002年02期

7 曹磊;;面向高分辨率遙感影像分類的分層策略研究[J];四川水泥;2017年05期

8 張佳;謝玉鳳;;高光譜遙感影像分類方法綜述[J];安徽農(nóng)學(xué)通報(bào);2017年14期

9 黃冬梅;陳珂;王振華;劉爽;;利用空間抽樣理論的遙感影像分類結(jié)果精度評(píng)價(jià)方法[J];計(jì)算機(jī)應(yīng)用與軟件;2016年07期

10 張雁;吳保國(guó);王冬;;遙感影像分類方法研究動(dòng)態(tài)[J];安徽農(nóng)業(yè)科學(xué);2012年28期

相關(guān)會(huì)議論文 前10條

1 王梁;韓坤英;;分形理論在遙感影像分類中的應(yīng)用[A];第十二屆全國(guó)數(shù)學(xué)地質(zhì)與地學(xué)信息學(xué)術(shù)研討會(huì)論文集[C];2013年

2 趙銀娣;蔡燕;;紋理特征在高空間分辨率遙感影像分類中的應(yīng)用探討[A];《測(cè)繪通報(bào)》測(cè)繪科學(xué)前沿技術(shù)論壇摘要集[C];2008年

3 汪東川;龔建華;張利輝;;基于時(shí)間序列軌跡分析的遙感影像分類結(jié)果聯(lián)合校正[A];第十七屆中國(guó)遙感大會(huì)摘要集[C];2010年

4 寧敢;;基于對(duì)象級(jí)的遙感影像分類在土地利用類型變化檢測(cè)與分析中的應(yīng)用——以北京市海淀區(qū)韓家川村及馬連洼村為例[A];地球資源環(huán)境定量化理論與應(yīng)用——2009年全國(guó)數(shù)學(xué)地球科學(xué)與地學(xué)信息學(xué)術(shù)會(huì)議論文集[C];2009年

5 湯家法;;基于可拓分類器的遙感影像分類[A];第十七屆中國(guó)遙感大會(huì)摘要集[C];2010年

6 王珊珊;季民;高潔;焦其松;;CBR方法在高分辨率遙感影像分類中的應(yīng)用[A];《測(cè)繪通報(bào)》測(cè)繪科學(xué)前沿技術(shù)論壇摘要集[C];2008年

7 楊劍;蒲英霞;何一鳴;;基于Getis的遙感影像分類研究[A];中國(guó)地理學(xué)會(huì)百年慶典學(xué)術(shù)論文摘要集[C];2009年

8 楊春萍;余先川;;基于稀疏成分分析的遙感圖像分類[A];地球資源環(huán)境定量化理論與應(yīng)用——2009年全國(guó)數(shù)學(xué)地球科學(xué)與地學(xué)信息學(xué)術(shù)會(huì)議論文集[C];2009年

9 ;結(jié)合光譜、紋理與形狀特征的高空間分辨率遙感影像分類(英文)[A];中國(guó)測(cè)繪學(xué)會(huì)第九次全國(guó)會(huì)員代表大會(huì)暨學(xué)會(huì)成立50周年紀(jì)念大會(huì)論文集[C];2009年

10 劉忠陽(yáng);陳懷亮;杜子璇;鄒春輝;;基于決策樹方法的Landsat7 ETM+遙感影像分類研究[A];農(nóng)業(yè)生態(tài)與衛(wèi)星遙感應(yīng)用技術(shù)學(xué)術(shù)交流會(huì)論文摘要集[C];2006年

相關(guān)博士學(xué)位論文 前10條

1 張愛竹;基于萬(wàn)有引力模型的高分辨率遙感影像分類方法研究[D];中國(guó)石油大學(xué)(華東);2017年

2 王海軍;深度卷積神經(jīng)網(wǎng)絡(luò)在遙感影像分類的應(yīng)用研究[D];中國(guó)地質(zhì)大學(xué)(北京);2018年

3 劉志剛;支撐向量機(jī)在光譜遙感影像分類中的若干問題研究[D];武漢大學(xué);2004年

4 巫兆聰;粗集理論在遙感影像分類中的應(yīng)用[D];武漢大學(xué);2004年

5 胥海威;基于改進(jìn)隨機(jī)聚類決策森林算法的遙感影像分類研究[D];中南大學(xué);2012年

6 亓呈明;基于多核學(xué)習(xí)的高光譜遙感影像分類方法研究[D];中國(guó)地質(zhì)大學(xué)(北京);2016年

7 王巍;基于Agent的遙感影像分類方法及其應(yīng)用研究[D];中國(guó)地質(zhì)大學(xué)(北京);2016年

8 夏俊士;基于集成學(xué)習(xí)的高光譜遙感影像分類[D];中國(guó)礦業(yè)大學(xué);2013年

9 丁勝;智能優(yōu)化算法在高光譜遙感影像分類中的應(yīng)用研究[D];武漢大學(xué);2010年

10 陳丹;基于優(yōu)化決策樹的高分辨率遙感影像分類技術(shù)研究[D];武漢大學(xué);2010年

相關(guān)碩士學(xué)位論文 前10條

1 喬賢賢;基于多特征融合與深度置信網(wǎng)絡(luò)的遙感影像分類研究[D];河南大學(xué);2019年

2 李洪川;多核支持向量機(jī)在高分辨率遙感影像分類中的應(yīng)用研究[D];重慶郵電大學(xué);2018年

3 田冬雪;基于分布式存儲(chǔ)的海量遙感影像分類方法研究[D];東北林業(yè)大學(xué);2019年

4 劉威;基于多類特征深度學(xué)習(xí)的高分辨率遙感影像分類[D];北京建筑大學(xué);2019年

5 薛洪飛;基于深度學(xué)習(xí)的遙感影像分類方法研究[D];哈爾濱工程大學(xué);2019年

6 余威;基于深度學(xué)習(xí)的遙感影像分類應(yīng)用研究[D];貴州大學(xué);2019年

7 段琳琳;基于深度學(xué)習(xí)的遙感影像分類研究[D];河南大學(xué);2018年

8 王銘愷;高分辨率遙感影像分類方法研究及在景觀格局分析中的應(yīng)用[D];合肥工業(yè)大學(xué);2018年

9 李健;國(guó)產(chǎn)高分遙感影像分類方法綜合對(duì)比研究[D];長(zhǎng)沙理工大學(xué);2017年

10 汪光亞;基于條件隨機(jī)場(chǎng)的多時(shí)相遙感影像分類[D];南京理工大學(xué);2018年

本文編號(hào)：2702241