【摘要】：各種大數(shù)據(jù)處理技術(shù)如Hadoop、Spark等已被廣泛應(yīng)用于遙感大數(shù)據(jù)處理;機(jī)器學(xué)習(xí)的分類方法也已大量應(yīng)用于遙感圖像的分類識(shí)別。針對(duì)遙感大數(shù)據(jù),如何快速高效地利用機(jī)器學(xué)習(xí)分類算法對(duì)遙感圖像進(jìn)行分類是一項(xiàng)急需解決的問題。雖然已有基于Spark平臺(tái)下MPI任務(wù)和GPU任務(wù)的調(diào)度實(shí)施研究,但其任務(wù)劃分是一種二分法模式,即把任務(wù)分為MPI任務(wù)或者GPU任務(wù),沒有把GPU任務(wù)嵌入MPI進(jìn)程中。為了充分利用MPI的粗粒度并行編程模型和CUDA的細(xì)粒度并行編程模型的特點(diǎn),本文提出了基于Spark框架將CUDA并行嵌套在MPI多進(jìn)程中,從而能夠更加有效提高計(jì)算處理速度,并搭建了基于Spark框架的高性能支持向量機(jī)并行計(jì)算框架�；谔岢龅目蚣�,本文改進(jìn)了機(jī)器學(xué)習(xí)的支持向量機(jī)算法,實(shí)現(xiàn)了支持向量機(jī)分類算法在該平臺(tái)下的高性能并行計(jì)算。以上海地區(qū)的Landsat8遙感影像作為實(shí)驗(yàn)數(shù)據(jù),在不同實(shí)驗(yàn)情境下進(jìn)行實(shí)驗(yàn),得出如下結(jié)果:1)在單節(jié)點(diǎn)下,MPI-CUDA并行的遙感圖像分類精度較單機(jī)串行下雖然降低了1.05%,但是其計(jì)算速度卻提高了6.3倍。2)在單節(jié)點(diǎn)MPI-CUDA環(huán)境下,隨著次進(jìn)程數(shù)的增多雖然遙感圖像分類精度逐漸降低,由94.64%(開啟1個(gè)次進(jìn)程)降至92.42%(開啟10個(gè)次進(jìn)程),當(dāng)次進(jìn)程數(shù)超過8時(shí),支持向量機(jī)的分類精度趨于穩(wěn)定。但是其計(jì)算速度卻明顯逐步提高,最后趨于平穩(wěn)(當(dāng)次進(jìn)程數(shù)量超過9時(shí))。3)隨著節(jié)點(diǎn)數(shù)的增多,支持向量機(jī)分類算法的計(jì)算耗時(shí)逐漸降低,加速比逐漸增大,但是增長幅度是越來越低的;當(dāng)節(jié)點(diǎn)數(shù)個(gè)數(shù)分別為2、4、6時(shí),其對(duì)應(yīng)加速比為1.62、2.34、2.65。雖然本文提出的框架會(huì)造成遙感圖像分類精度的輕微降低,但通過綜合分析不同環(huán)境下的支持向量機(jī)分類精度以及分類時(shí)效,證明了本文提出的基于Spark平臺(tái)的高性能并行計(jì)算框架是可行且可靠的,將CUDA并行嵌套在MPI多進(jìn)程中是一種高效的混合并行模式。
【圖文】：

CPU架構(gòu)圖 GPU架構(gòu)圖圖 1-1 CPU/GPU 架構(gòu)圖1.2 國內(nèi)外研究現(xiàn)狀隨著遙感學(xué)科的不斷發(fā)展，遙感圖像的分類算法也可熱的是關(guān)于機(jī)器學(xué)習(xí)的遙感圖像分類。進(jìn)入遙感大數(shù)感數(shù)據(jù)，如何能夠快速高效的進(jìn)行處理，，對(duì)此國內(nèi)外很理的方法進(jìn)行了改進(jìn)和優(yōu)化。在遙感圖像分類領(lǐng)域，各為了提高遙感圖像分類的速度，很多專家學(xué)者對(duì)其相關(guān)1.2.1 遙感圖像分類算法遙感圖像的傳統(tǒng)分類方法很多，各種分類方法也已

圖 2-2 線程網(wǎng)格、線程塊和線程的關(guān)系開發(fā)中，現(xiàn)在廣泛使用的是 NVIDIA 的言開發(fā)的編譯器，能夠?qū)⒃撜Z言編譯成。關(guān)于 CUDA 工作的主要流程如圖 2-3初始化，然后主機(jī)端 CPU 從系統(tǒng)內(nèi)指令驅(qū)動(dòng) GPU 運(yùn)行，以此來調(diào)度 GP過執(zhí)行 cu 文件，調(diào)用 Kernel 函數(shù)，將多線程網(wǎng)格進(jìn)而利用多線程來進(jìn)行計(jì)的，而在同一個(gè)線程網(wǎng)格內(nèi)的線程之間量的并行計(jì)算過程交由很多個(gè)線程來執(zhí)存。
【學(xué)位授予單位】：華東師范大學(xué)
【學(xué)位級(jí)別】：碩士
【學(xué)位授予年份】：2018
【分類號(hào)】：TP751;TP181

【參考文獻(xiàn)】

相關(guān)期刊論文 前10條

1 李德仁;馬軍;邵振峰;;論時(shí)空大數(shù)據(jù)及其應(yīng)用[J];衛(wèi)星應(yīng)用;2015年09期

2 陳峰科;孫眾毅;池明e

本文編號(hào)：2646127