基于Spark的高光譜圖像分布式并行分類
發(fā)布時(shí)間:2021-08-26 23:51
高光譜遙感圖像有光譜波段多、光譜分辨率高、成像范圍大的特點(diǎn),包含豐富的空間信息和光譜信息,在地理地貌分析方面有著明顯的優(yōu)勢(shì)。高光譜遙感圖像分類技術(shù)是遙感信息解釋的重要手段之一,在資源勘探和環(huán)境監(jiān)測(cè)等領(lǐng)域有著廣泛應(yīng)用。隨著高光譜遙感儀的探測(cè)技術(shù)的不斷提升,高光譜遙感圖像的數(shù)據(jù)量越來(lái)越大,如何高效地對(duì)海量高光譜圖像進(jìn)行分類處理成為遙感處理領(lǐng)域的一個(gè)重要課題。傳統(tǒng)的單機(jī)計(jì)算平臺(tái)不足以支撐海量高光譜數(shù)據(jù)的處理要求。而云計(jì)算技術(shù)具備分布式存儲(chǔ)和并行計(jì)算的特點(diǎn),能夠有效地解決海量高光譜遙感圖像在單機(jī)運(yùn)行環(huán)境中的計(jì)算瓶頸問(wèn)題。Spark是一個(gè)基于內(nèi)存的分布式的數(shù)據(jù)處理框架,是最重要的云計(jì)算處理平臺(tái)之一。Spark的彈性分布式數(shù)據(jù)集(RDD)擁有豐富的運(yùn)算算子,并且支持中間任務(wù)結(jié)果緩存到內(nèi)存,因此適合于解決海量數(shù)據(jù)的復(fù)雜迭代計(jì)算問(wèn)題。本文基于Spark平臺(tái)研究了高光譜圖像分類算法的分布式并行計(jì)算原理,提出了兩種高光譜圖像分布式并行分類方法。主要工作如下:(一)研究了基于空間相關(guān)性約束稀疏表示的高光譜圖像分類方法(SCSRC),并在此基礎(chǔ)了提出了 Spark平臺(tái)上的基于空間相關(guān)性約束稀疏表示的高光譜圖像...
【文章來(lái)源】:南京理工大學(xué)江蘇省 211工程院校
【文章頁(yè)數(shù)】:65 頁(yè)
【學(xué)位級(jí)別】:碩士
【部分圖文】:
圖1.1高光譜成像原理[28】??高光譜圖像分類是近年來(lái)遙感領(lǐng)域頗受歡迎的應(yīng)用之一,地物分類結(jié)果清晰地反??映地物的空間分布,在遙感地物識(shí)別方面有重要的意義
圖2.1?Spark核心體系??布式數(shù)據(jù)集(RDD)??用的分布式數(shù)據(jù)結(jié)構(gòu)是彈性分布式數(shù)據(jù)集(Resilient?Distributed?DD是對(duì)分布于Spark集群中各個(gè)計(jì)算節(jié)點(diǎn),存儲(chǔ)于內(nèi)存中的數(shù)
文件?RDD?行動(dòng)算子?結(jié)果??圖2.2?RDD的操作算子??子RDD既可以由一個(gè)父RDD轉(zhuǎn)換而來(lái),又可以由多個(gè)RDD轉(zhuǎn)換。子RDD與父??RDD之間的分區(qū)依賴關(guān)系分為兩類:(1)窄依賴,同一個(gè)父RDD的一個(gè)分區(qū)只負(fù)責(zé)轉(zhuǎn)??換子RDD的一個(gè)分區(qū);(2)寬依賴,同一個(gè)父RDD的一個(gè)分區(qū)負(fù)責(zé)同時(shí)轉(zhuǎn)換成多個(gè)子??RDD分區(qū)。觸發(fā)計(jì)算時(shí)會(huì)將父RDD?(s)的某個(gè)分區(qū)數(shù)據(jù)傳輸?shù)阶樱遥模牡姆謪^(qū)中,如??果是窄依賴,父RDD的某個(gè)分區(qū)會(huì)就近在本地節(jié)點(diǎn)創(chuàng)建子RDD的一個(gè)分區(qū);而如果??是寬依賴,父RDD的某個(gè)分區(qū)數(shù)據(jù)會(huì)傳輸?shù)阶樱遥模牡亩鄠(gè)分區(qū),這些分區(qū)不太可能??都在本地節(jié)點(diǎn)創(chuàng)建,相反可能跨節(jié)點(diǎn)創(chuàng)建并觸發(fā)數(shù)據(jù)shuffle,即跨界點(diǎn)數(shù)據(jù)傳輸。因??此
本文編號(hào):3365211
【文章來(lái)源】:南京理工大學(xué)江蘇省 211工程院校
【文章頁(yè)數(shù)】:65 頁(yè)
【學(xué)位級(jí)別】:碩士
【部分圖文】:
圖1.1高光譜成像原理[28】??高光譜圖像分類是近年來(lái)遙感領(lǐng)域頗受歡迎的應(yīng)用之一,地物分類結(jié)果清晰地反??映地物的空間分布,在遙感地物識(shí)別方面有重要的意義
圖2.1?Spark核心體系??布式數(shù)據(jù)集(RDD)??用的分布式數(shù)據(jù)結(jié)構(gòu)是彈性分布式數(shù)據(jù)集(Resilient?Distributed?DD是對(duì)分布于Spark集群中各個(gè)計(jì)算節(jié)點(diǎn),存儲(chǔ)于內(nèi)存中的數(shù)
文件?RDD?行動(dòng)算子?結(jié)果??圖2.2?RDD的操作算子??子RDD既可以由一個(gè)父RDD轉(zhuǎn)換而來(lái),又可以由多個(gè)RDD轉(zhuǎn)換。子RDD與父??RDD之間的分區(qū)依賴關(guān)系分為兩類:(1)窄依賴,同一個(gè)父RDD的一個(gè)分區(qū)只負(fù)責(zé)轉(zhuǎn)??換子RDD的一個(gè)分區(qū);(2)寬依賴,同一個(gè)父RDD的一個(gè)分區(qū)負(fù)責(zé)同時(shí)轉(zhuǎn)換成多個(gè)子??RDD分區(qū)。觸發(fā)計(jì)算時(shí)會(huì)將父RDD?(s)的某個(gè)分區(qū)數(shù)據(jù)傳輸?shù)阶樱遥模牡姆謪^(qū)中,如??果是窄依賴,父RDD的某個(gè)分區(qū)會(huì)就近在本地節(jié)點(diǎn)創(chuàng)建子RDD的一個(gè)分區(qū);而如果??是寬依賴,父RDD的某個(gè)分區(qū)數(shù)據(jù)會(huì)傳輸?shù)阶樱遥模牡亩鄠(gè)分區(qū),這些分區(qū)不太可能??都在本地節(jié)點(diǎn)創(chuàng)建,相反可能跨節(jié)點(diǎn)創(chuàng)建并觸發(fā)數(shù)據(jù)shuffle,即跨界點(diǎn)數(shù)據(jù)傳輸。因??此
本文編號(hào):3365211
本文鏈接:http://sikaile.net/guanlilunwen/gongchengguanli/3365211.html
最近更新
教材專著