本文關(guān)鍵詞：云計算平臺下遙感圖像分類算法的并行化技術(shù)研究　出處：《南京理工大學(xué)》2017年碩士論文　論文類型：學(xué)位論文

  更多相關(guān)文章： 高光譜圖像 SCSRC 云計算 Hadoop Spark 調(diào)度 遺傳算法

【摘要】：高光譜遙感圖像中包含著豐富的空間信息和光譜信息,使其在地物識別和分類方面較其他遙感圖像更具優(yōu)勢,因此它在軍事偵查、資源勘探和環(huán)境監(jiān)測等領(lǐng)域廣泛應(yīng)用。高光譜遙感圖像分類是高光譜圖像處理的重要內(nèi)容之一,由于高光譜遙感圖像具有高維、波段多、數(shù)據(jù)量大的特點,現(xiàn)有串行分類算法計算復(fù)雜度較高,算法的實時性并不好,同時隨著遙感器分辨率的不斷提升,高光譜遙感圖像數(shù)據(jù)量呈幾何式增長,現(xiàn)有的單機(jī)計算平臺難以處理產(chǎn)生的海量高光譜遙感圖像數(shù)據(jù)。云計算技術(shù)具備分布式存儲和分布式計算的特點,能夠有效解決高光譜遙感圖像分類的單機(jī)瓶頸問題。云計算平臺下任務(wù)調(diào)度算法對任務(wù)的執(zhí)行性能有著非常重要的影響,合適的調(diào)度策略可以提高任務(wù)的執(zhí)行速度。因此本文對云計算平臺下基于空間相關(guān)性正則化稀疏表示的高光譜遙感圖像分類方法SCSRC的并行化和任務(wù)調(diào)度展開了深入研究,主要工作有:(1)常規(guī)遙感圖像的傳統(tǒng)分類算法并不能滿足大數(shù)據(jù)量的高光譜遙感圖像的分類需求,因此有學(xué)者提出了基于空間相關(guān)性正則化的稀疏表示分類方法SCSRC,這種分類方法不僅利用了高光譜遙感圖像的光譜信息,而且添加了圖像空間相鄰數(shù)據(jù)之間的信息,取得了較好的分類效果。本文首先研究并在單機(jī)上實現(xiàn)了 SCSRC方法,并通過實驗分析了該方法的時間性能,為后續(xù)云計算平臺下的并行化研究提供對比依據(jù)。(2)由于SCSRC算法的計算復(fù)雜度較高,并且還受到單機(jī)尺度的限制,因此在分析SCSRC算法性能瓶頸的基礎(chǔ)上,分別在Hadoop和Spark平臺下設(shè)計了 SCSRC的并行化方法MR_SCSRC和SK_SCSRC。在MR_SCSRC算法中首先設(shè)計了基于外積法實現(xiàn)矩陣相乘的MapReduce方法,然后從降低Map階段IO次數(shù)、合并計算邏輯和實現(xiàn)本地化規(guī)約三個方面對算法進(jìn)行了優(yōu)化。鑒于在Hadoop的基礎(chǔ)上發(fā)展而來的Spark更適用于迭代計算,參考MR_SCSRC的實現(xiàn)思路,進(jìn)一步設(shè)計了基于Spark RDD編程模型的SK__SCSRC方法。最后通過實驗給出了 SK_SCSRC算法的加速比和擴(kuò)展比,并將MR_SCSRC和SK_SCSRC進(jìn)行了對比。(3)Hadoop現(xiàn)有的任務(wù)調(diào)度算法只是考慮了數(shù)據(jù)本地性,忽視了集群的負(fù)載均衡性,為此基于遺傳算法設(shè)計實現(xiàn)了兼顧作業(yè)完成時間和集群負(fù)載均衡性的任務(wù)調(diào)度器StaticGAtaskScheduler,詳細(xì)給出了該調(diào)度器在Hadoop平臺下的加載調(diào)度驗證,最后通過調(diào)度MR_SCSRC算法驗證此調(diào)度器下算法的性能提升。
[Abstract]:Hyperspectral remote sensing image contains spatial information and spectral information, compared to the other remote sensing image has more advantages in object recognition and classification, so it is widely used in military reconnaissance, resource exploration and environmental monitoring. The hyperspectral remote sensing image classification is one of the important contents of the hyperspectral image processing, due to the high remote sensing image with high dimension, multi band, large amount of data, the existing serial classification algorithm has high computational complexity, real-time algorithm is not good, at the same time as the remote sensor resolution upgrade, hyperspectral remote sensing image data amount of exponential growth, the existing single amount of hyperspectral remote sensing image data to the platform processing. Cloud computing technology has the characteristics of distributed storage and distributed computing, which can effectively solve the hyperspectral remote sensing image classification of single cloud bottlenecks. Is the performance of task scheduling algorithm under the platform of the task is very important, appropriate scheduling strategy can improve the speed of execution tasks. Parallel task scheduling and the calculation of SCSRC classification method of hyperspectral remote sensing image spatial correlation regularization based on the sparse representation of cloud platform are studied, the main work a: (1) conventional remote sensing image classification and traditional classification algorithm can not meet the demand of hyperspectral remote sensing image data, so some scholars proposed a classification method of SCSRC sparse spatial correlation based on regularization, this classification method not only uses the spectral information of hyperspectral remote sensing image, and add a space between the image the data of the adjacent information, to obtain a better classification. This paper studies and implements the SCSRC method on a single machine, and through experimental analysis The time performance of the method, provides the basis for subsequent research on parallel cloud computing platform. (2) due to the computational complexity of the SCSRC algorithm is higher, and also by the single scale restricted, so based on the analysis of the SCSRC algorithm performance bottleneck, respectively in Hadoop and Spark platform to design the parallelization of SCSRC the methods of MR_SCSRC and SK_SCSRC. in MR_SCSRC algorithm is first designed MapReduce method of outer product implementation of matrix multiplication based on Map, then from the lower stage of IO times, and realize the localization of protocol logic three aspects to optimize the algorithm combined. In view of the development and on the basis of Hadoop Spark is more suitable for the iterative calculation, ideas the reference MR_SCSRC, further design method of Spark SK__SCSRC based on RDD programming model. Finally, the experiment shows the SK_SCSRC algorithm ratio and expansion ratio, and MR_S Compared with CSRC and SK_SCSRC. (3) Hadoop existing task scheduling algorithms only consider the data locality, ignoring the load balance of cluster, the genetic algorithm is designed to achieve balanced work load balancing of the StaticGAtaskScheduler task scheduler and cluster based on time, with the load scheduling under the Hadoop platform to verify the scheduler this, finally through the scheduling algorithm MR_SCSRC verify the performance of the scheduler algorithm upgrade.

【學(xué)位授予單位】：南京理工大學(xué)
【學(xué)位級別】：碩士
【學(xué)位授予年份】：2017
【分類號】：TP751

【相似文獻(xiàn)】

相關(guān)期刊論文 前10條

1 李偉;;遙感圖像中的道路提取[J];自動化博覽;2006年05期

2 李傳龍;李穎;馬龍;;一種新的遙感圖像海岸線檢測方法[J];計算機(jī)仿真;2010年08期

3 張學(xué)良;肖鵬峰;馮學(xué)智;;基于圖像內(nèi)容層次表征的遙感圖像分割方法[J];中國圖象圖形學(xué)報;2012年01期

4 秦其明;遙感圖像自動解譯面臨的問題與解決的途徑[J];測繪科學(xué);2000年02期

5 陳小琪;現(xiàn)代計算機(jī)印前制版技術(shù)在遙感圖像印制中的應(yīng)用研究——以《長江經(jīng)濟(jì)帶可持續(xù)發(fā)展地圖集》為例[J];地球信息科學(xué);2000年02期

6 鄧湘金,彭海良;一種基于遙感圖像的機(jī)場檢測方法[J];測試技術(shù)學(xué)報;2002年02期

7 余杰千,方濤,陳雍業(yè);一種有效的遙感圖像無縫分割方法[J];計算機(jī)應(yīng)用;2003年12期

8 吳為祿;遙感圖像中的云層消除處理[J];鐵路航測;2003年01期

9 于輝,徐軍;彩色遙感圖像目標(biāo)提取方法研究[J];遙感技術(shù)與應(yīng)用;2003年06期

10 黃勇杰,王樹國,劉俊義,陳東;遙感圖像去云算法研究[J];儀器儀表學(xué)報;2003年S2期

相關(guān)會議論文 前10條

1 張鳳春;董增壽;劉明君;;基于局部方差均衡的遙感圖像增強(qiáng)方法[A];第六屆全國信息獲取與處理學(xué)術(shù)會議論文集（2）[C];2008年

2 鄧冰;林宗堅;彭曉東;;遙感圖像信息度量的原理與方法[A];《測繪通報》測繪科學(xué)前沿技術(shù)論壇摘要集[C];2008年

3 江興方;江鴻;何賢強(qiáng);;遙感圖像兩種半自動拼接方法的研究[A];全國農(nóng)業(yè)遙感技術(shù)研討會論文集[C];2009年

4 羅睿;張永生;范永弘;鄧雪清;;遙感圖像基于內(nèi)容查詢的研究與實踐[A];第十三屆全國遙感技術(shù)學(xué)術(shù)交流會論文摘要集[C];2001年

5 陳東;龐怡杰;黃勇杰;;大傾斜航空遙感圖像快速自動鑲嵌技術(shù)[A];圖像 仿真 信息技術(shù)——第二屆聯(lián)合學(xué)術(shù)會議論文集[C];2002年

6 黃勇杰;王樹國;劉俊義;陳東;;遙感圖像去云算法研究[A];首屆信息獲取與處理學(xué)術(shù)會議論文集[C];2003年

7 謝建春;趙榮椿;;遙感圖像中的軍用機(jī)場識別算法研究[A];信號與信息處理技術(shù)第三屆信號與信息處理全國聯(lián)合學(xué)術(shù)會議論文集[C];2004年

8 陳姚;王金亮;李石華;;遙感圖像中云層遮擋影響消除處理方法研究述評[A];第十五屆全國遙感技術(shù)學(xué)術(shù)交流會論文摘要集[C];2005年

9 張磊;朱磊;;遙感圖像中直線目標(biāo)的檢測[A];第十五屆全國遙感技術(shù)學(xué)術(shù)交流會論文摘要集[C];2005年

10 邱磊;李國輝;衡祥安;;一種基于交互學(xué)習(xí)的遙感圖像挖掘方法[A];第一屆建立和諧人機(jī)環(huán)境聯(lián)合學(xué)術(shù)會議（HHME2005）論文集[C];2005年

相關(guān)重要報紙文章 前5條

1 蔣建科邋孫宏金 陳樹琛;傳回清晰遙感圖像[N];人民日報;2008年

2 記者 鄭千里;北京地區(qū)有了航空遙感圖像[N];科技日報;2000年

3 本報通訊員;煤航遙感院獲美國快鳥遙感圖像西部代理權(quán)[N];中煤地質(zhì)報;2005年

4 王石;印度通過“快鳥”影像發(fā)現(xiàn)古墓地[N];中國測繪報;2010年

5 記者 馬彥平 張桂敏;澳大利亞鉀礦鉆探啟動[N];農(nóng)資導(dǎo)報;2011年

相關(guān)博士學(xué)位論文 前10條

1 朱光;基于遙感圖像的交通道路目標(biāo)識別方法研究[D];吉林大學(xué);2015年

2 祁友杰;基于SoC技術(shù)的遙感圖像快速匹配方法研究[D];東南大學(xué);2016年

3 江興方;遙感圖像去云方法的研究及其應(yīng)用[D];南京理工大學(xué);2007年

4 滕鑫鵬;遙感圖像道路提取研究[D];江蘇大學(xué);2014年

5 劉春紅;超光譜遙感圖像降維及分類方法研究[D];哈爾濱工程大學(xué);2005年

6 劉哲;基于信息融合的遙感圖像處理方法研究[D];西北工業(yè)大學(xué);2002年

7 強(qiáng)贊霞;遙感圖像的融合及應(yīng)用[D];華中科技大學(xué);2005年

8 杜根遠(yuǎn);海量遙感圖像內(nèi)容檢索關(guān)鍵技術(shù)研究[D];成都理工大學(xué);2011年

9 陶午沙;基于結(jié)構(gòu)模型的遙感圖像軍事陣地目標(biāo)特征分析及其識別技術(shù)研究[D];國防科學(xué)技術(shù)大學(xué);2004年

10 林劍;基于模糊理論的遙感圖像分割方法研究[D];中南大學(xué);2003年

相關(guān)碩士學(xué)位論文 前10條

1 邱磊;基于內(nèi)容的遙感圖像挖掘方法研究[D];國防科學(xué)技術(shù)大學(xué);2005年

2 陳浩;高分辨遙感圖像災(zāi)區(qū)建筑檢測[D];南京理工大學(xué);2015年

3 朱然;大數(shù)據(jù)量復(fù)雜背景下橋梁水壩目標(biāo)快速識別[D];電子科技大學(xué);2015年

4 王靜靜;基于NSCT和Shearlet變換的遙感圖像增強(qiáng)研究[D];新疆大學(xué);2014年

5 柴宏磊;基于知識的遙感圖像港口目標(biāo)識別[D];電子科技大學(xué);2015年

6 馮一鳴;基于遙感圖像中港口目標(biāo)的分割算法研究與實現(xiàn)[D];西安電子科技大學(xué);2014年

7 吳云坤;遙感圖像變化檢測技術(shù)研究[D];國防科學(xué)技術(shù)大學(xué);2013年

8 王旭;無參考遙感圖像質(zhì)量綜合評價算法研究[D];西安電子科技大學(xué);2015年

9 宋玉梅;基于遙感圖像的內(nèi)河航道識別研究[D];重慶交通大學(xué);2015年

10 張少輝;基于刃邊法的遙感圖像重建方法研究[D];西安電子科技大學(xué);2014年

，

本文編號：1419041