發(fā)布時(shí)間：2021-05-05 22:05

　　隨著空天遙感大數(shù)據(jù)技術(shù)的飛速發(fā)展,多維、多尺度、高分辨率的遙感影像與無人機(jī)低空遙感圖像數(shù)據(jù)呈現(xiàn)爆發(fā)式增長。傳統(tǒng)分類軟件在對這些海量影像數(shù)據(jù)進(jìn)行處理時(shí)存在耗時(shí)較長以及分類精確度浮動范圍過大的問題。為保證分類精度在合理范圍波動的前提下進(jìn)一步提升分類效率,本文將Flink流處理運(yùn)算架構(gòu)與Hadoop分布式系統(tǒng)相結(jié)合,從集群過載保護(hù)、預(yù)防數(shù)據(jù)傾斜兩個(gè)方面來進(jìn)行優(yōu)化,設(shè)計(jì)了一種基于Flink的快速無人機(jī)遙感圖像分類處理方案。本文開展的具體工作內(nèi)容如下:針對現(xiàn)有遙感圖像與無人機(jī)低空遙感圖像數(shù)據(jù)量大、地物信息復(fù)雜的特性,將Flink分布式流處理引入到遙感圖像數(shù)據(jù)分類過程之中。為防止在多線程處理過程中的異步化、耦合、線程安全等問題的出現(xiàn),本文在利用Flink集群從Hadoop分布式文件系統(tǒng)HDFS中讀取圖像時(shí),以流的方式進(jìn)行處理,與普通的處理模式相比能有效縮短數(shù)據(jù)讀取時(shí)間,并減少無謂的I/O消耗。為解決客戶端在與集群服務(wù)器在海量圖像交互處理時(shí)過載問題,本文利用Kafka對Flink集群在的Checkpoint機(jī)制進(jìn)行了優(yōu)化與改進(jìn),提出了一種Flink集群進(jìn)行海量圖像數(shù)據(jù)處理時(shí)故障暫存的優(yōu)化方案。通過判... 

【文章來源】：山東大學(xué)山東省 211工程院校 985工程院校 教育部直屬院校

【文章頁數(shù)】：82 頁

【學(xué)位級別】：碩士

【文章目錄】：
摘要
ABSTRACT
符號說明
第1章 緒論
    1.1 課題背景與研究的目的和意義
    1.2 國內(nèi)外研究進(jìn)展與現(xiàn)狀
        1.2.1 分布式系統(tǒng)架構(gòu)研究現(xiàn)狀
        1.2.2 遙感分類算法研究現(xiàn)狀
        1.2.3 在遙感圖像分類領(lǐng)域的分布式系統(tǒng)應(yīng)用現(xiàn)狀
    1.3 論文主要研究目標(biāo)、內(nèi)容及創(chuàng)新點(diǎn)
    1.4 論文主要工作與組織結(jié)構(gòu)
第2章 分布式系統(tǒng)遙感圖像數(shù)據(jù)挖掘理論與相關(guān)技術(shù)
    2.1 Hadoop分布式系統(tǒng)
        2.1.1 分布式文件系統(tǒng)HDFS
        2.1.2 分布式集群資源管理系統(tǒng)YARN
    2.2 Flink分布式計(jì)算處理技術(shù)
        2.2.1 Flink分布式處理體系架構(gòu)與基本特性
        2.2.2 Flink流處理模塊DataStream API
        2.2.3 Flink Kafka Connector
    2.3 遙感圖像分類技術(shù)及相關(guān)理論
        2.3.1 遙感圖像分類處理平臺
        2.3.2 無監(jiān)督分類算法
    2.4 本章小結(jié)
第3章 基于Flink的遙感圖像快速分類系統(tǒng)設(shè)計(jì)
    3.1 系統(tǒng)設(shè)計(jì)要求與總體設(shè)計(jì)方案
    3.2 基于Flink-HDFS遙感與無人機(jī)圖像數(shù)據(jù)讀取策略
    3.3 基于Kafka的數(shù)據(jù)緩存保護(hù)策略設(shè)計(jì)
    3.4 基于Flink分布式遙感圖像分類處理優(yōu)化方法
    3.5 本章小結(jié)
第4章 系統(tǒng)實(shí)現(xiàn)及相關(guān)測試
    4.1 基于Flink快速分類系統(tǒng)測試環(huán)境搭建
    4.2 傳統(tǒng)遙感圖像實(shí)驗(yàn)驗(yàn)證及分析
        4.2.1 相關(guān)指標(biāo)評價(jià)標(biāo)準(zhǔn)
        4.2.2 實(shí)驗(yàn)主要內(nèi)容
        4.2.3 Salinas高光譜遙感圖像
    4.3 無人機(jī)低空遙感圖像庫實(shí)驗(yàn)驗(yàn)證及分析
        4.3.1 實(shí)驗(yàn)數(shù)據(jù)源
        4.3.2 實(shí)驗(yàn)內(nèi)容與結(jié)果
    4.4 本章小結(jié)
第5章 總結(jié)與展望
    5.1 總結(jié)
    5.2 展望
附錄
參考文獻(xiàn)
致謝
攻讀學(xué)位期間發(fā)表學(xué)術(shù)論文和參加科研情況
學(xué)位論文評閱及答辯情況表


【參考文獻(xiàn)】：
期刊論文
[1]基于熵加權(quán)K-means全局信息聚類的高光譜圖像分類[J]. 李玉,甄暢,石雪,趙泉華.  中國圖象圖形學(xué)報(bào). 2019(04)
[2]一種基于譜聚類算法的高光譜遙感圖像分類方法[J]. 楊隨心,耿修瑞,楊煒暾,趙永超,盧曉軍.  中國科學(xué)院大學(xué)學(xué)報(bào). 2019(02)
[3]阿里巴巴的大數(shù)據(jù)之路JStorm與Blink的發(fā)展史[J]. 林琳.  計(jì)算機(jī)與網(wǎng)絡(luò). 2019(02)
[4]結(jié)合最大似然算法和波利亞罐模型的全色遙感圖像分類[J]. 李杰,李玉,王玉,趙泉華.  測繪通報(bào). 2018(04)
[5]基于Hadoop的海量小文件存儲優(yōu)化方法[J]. 劉君.  廈門理工學(xué)院學(xué)報(bào). 2017(03)
[6]基于Hadoop的高性能GIS云計(jì)算平臺研究[J]. 李茜.  南方國土資源. 2015(12)
[7]基于HDFS的云存儲安全技術(shù)研究[J]. 余琦,凌捷.  計(jì)算機(jī)工程與設(shè)計(jì). 2013(08)

碩士論文
[1]Hadoop集群中小文件的存取優(yōu)化研究[D]. 馬振.新疆大學(xué) 2019
[2]遙感影像智能解譯技術(shù)的研究與應(yīng)用[D]. 郭聰聰.哈爾濱工業(yè)大學(xué) 2019
[3]基于Spark平臺的K-Means++算法的研究及其應(yīng)用[D]. 杜佳穎.南昌大學(xué) 2019
[4]基于Spark的高光譜圖像分布式并行分類[D]. 沈俊靈.南京理工大學(xué) 2018
[5]基于核稀疏表示的高光譜圖像分類[D]. 徐春華.湖北大學(xué) 2018
[6]基于Spark平臺的支持向量機(jī)并行化遙感圖像分類算法研究[D]. 黃樂樂.華東師范大學(xué) 2018
[7]云計(jì)算平臺下遙感圖像分類算法的并行化技術(shù)研究[D]. 劉震.南京理工大學(xué) 2017



本文編號：3170665