發(fā)布時(shí)間：2017-10-09 01:38

  本文關(guān)鍵詞：Hadoop在PSInSAR遙感數(shù)據(jù)并行處理中的研究及應(yīng)用

  更多相關(guān)文章： Hadoop HDFS MapReduce 海量 遙感數(shù)據(jù) PSInSAR

【摘要】：隨著各種類型遙感儀器的空間分辨率、頻譜分辨率的不斷提高,監(jiān)測(cè)地面沉降的遙感影像數(shù)據(jù)量會(huì)隨著時(shí)間的積累而急劇增長(zhǎng)。傳統(tǒng)的PSInSAR處理遙感數(shù)據(jù)系統(tǒng)一般都采用單機(jī)式的Shell和Matlab腳本串行處理,面對(duì)海量數(shù)據(jù)處理時(shí)由于受到單機(jī)CPU運(yùn)算速度、磁盤容量等資源的限制,存在加載緩慢、處理時(shí)間較長(zhǎng),甚至不能處理等嚴(yán)重問題。因此,有必要對(duì)PSInSAR系統(tǒng)進(jìn)行改造,提高其運(yùn)行速度和存儲(chǔ)容量,以滿足用戶對(duì)該系統(tǒng)的性能需求。目前,業(yè)界通常采用提高單機(jī)硬件性能的方法來改善PSInSAR遙感數(shù)據(jù)處理的效率,此方法存在低效、成本高、擴(kuò)展不靈活等問題,只能滿足一時(shí)之需,無法滿足日益增長(zhǎng)的海量數(shù)據(jù)需要。本文工作在對(duì)現(xiàn)有PSInSAR遙感影像數(shù)據(jù)系統(tǒng)進(jìn)行分析的基礎(chǔ)上,采用Hadoop技術(shù)對(duì)系統(tǒng)架構(gòu)進(jìn)行了并行化改造,通過架構(gòu)的優(yōu)化提高系統(tǒng)的處理速度；研究了PSInSAR系統(tǒng)中可并行處理的Shell和Matlab腳本,結(jié)合MapReduce將其中的串行腳本進(jìn)行了并行化改造：同時(shí)新增了分布式影像數(shù)據(jù)存儲(chǔ)管理模塊,提高了系統(tǒng)的讀寫性能；在對(duì)Hadoop源碼分析以及在大量作業(yè)運(yùn)行的基礎(chǔ)上,分析獲取了Hadoop平臺(tái)運(yùn)行作業(yè)的配置參數(shù),對(duì)整個(gè)系統(tǒng)改造進(jìn)行了優(yōu)化設(shè)計(jì)。最終,通過單機(jī)版和集群版系統(tǒng)的對(duì)比試驗(yàn),驗(yàn)證了本次系統(tǒng)改造的有效性和實(shí)用性,能夠顯著提高系統(tǒng)的性能。
【關(guān)鍵詞】：Hadoop HDFS MapReduce 海量 遙感數(shù)據(jù) PSInSAR
【學(xué)位授予單位】：東南大學(xué)
【學(xué)位級(jí)別】：碩士
【學(xué)位授予年份】：2015
【分類號(hào)】：TP751
【目錄】：

• 摘要4-5
• Abstract5-8
• 第一章 緒論8-13
• 1.1 研究背景及研究意義8-9
• 1.2 國(guó)內(nèi)外研究現(xiàn)狀9-11
• 1.2.1 Hadoop簡(jiǎn)介及國(guó)內(nèi)外研究的現(xiàn)狀9-11
• 1.2.2 PSInSAR國(guó)內(nèi)外研究現(xiàn)狀11
• 1.2.3 PSInSAR與Hadoop結(jié)合的可行性分析11
• 1.3 論文研究?jī)?nèi)容11-12
• 1.4 論文組織結(jié)構(gòu)12-13
• 第二章 相關(guān)技術(shù)概述13-24
• 2.1 分布式存儲(chǔ)技術(shù)——HDFS技術(shù)分析13-19
• 2.1.1 HDFS的總體介紹13
• 2.1.2 HDFS的架構(gòu)13-16
• 2.1.3 HDFS 2.0的工作原理16-17
• 2.1.4 HDFS存儲(chǔ)文件方案與單機(jī)存儲(chǔ)對(duì)比分析17-19
• 2.1.5 HDFS分布式文件系統(tǒng)相比單機(jī)存儲(chǔ)的優(yōu)點(diǎn)19
• 2.2 分布式計(jì)算技術(shù)——MapReduce技術(shù)分析19-23
• 2.2.1 MapReduce的總體介紹19-20
• 2.2.2 MapReduce的架構(gòu)20-21
• 2.2.3 MapReduce的編程模型21-23
• 2.2.4 MapReduce的優(yōu)點(diǎn)23
• 2.3 本章小結(jié)23-24
• 第三章 需求分析24-30
• 3.1 PSInSAR已有系統(tǒng)的介紹24-25
• 3.2 系統(tǒng)架構(gòu)上的缺陷25-26
• 3.2.1 架構(gòu)改造的需求26
• 3.3 模塊內(nèi)部的缺陷26-29
• 3.3.1 精配準(zhǔn)業(yè)務(wù)流程26-27
• 3.3.2 PS點(diǎn)分析業(yè)務(wù)流程27-28
• 3.3.3 影像數(shù)據(jù)存儲(chǔ)管理28-29
• 3.4 本章小結(jié)29-30
• 第四章 總體設(shè)計(jì)30-34
• 4.1 PSInSAR系統(tǒng)架構(gòu)改造方案30-31
• 4.2 模塊改造方案31-33
• 4.2.1 精配準(zhǔn)并行處理解決方案31-32
• 4.2.2 PS點(diǎn)分析并行處理解決方案32-33
• 4.2.3 影像數(shù)據(jù)存儲(chǔ)管理解決方案33
• 4.3 本章小結(jié)33-34
• 第五章 詳細(xì)設(shè)計(jì)與實(shí)現(xiàn)34-48
• 5.1 系統(tǒng)架構(gòu)改造詳細(xì)實(shí)現(xiàn)34-35
• 5.2 精配準(zhǔn)改造實(shí)現(xiàn)35-39
• 5.2.1 輔影像到主影像的配準(zhǔn)并行化實(shí)現(xiàn)35-38
• 5.2.2 輔影像到輔影像的配準(zhǔn)并行化實(shí)現(xiàn)38-39
• 5.3 PS點(diǎn)分析改造實(shí)現(xiàn)39-41
• 5.3.1 PS點(diǎn)分析流程并行化改造思想39-40
• 5.3.2 PS點(diǎn)分析類圖及具體實(shí)現(xiàn)40-41
• 5.4 影像數(shù)據(jù)存儲(chǔ)實(shí)現(xiàn)41-45
• 5.4.1 傳統(tǒng)構(gòu)建影像金字塔方法及步驟42
• 5.4.2 MapReduce并行構(gòu)建影像金字塔42-43
• 5.4.3 影像金字塔的MapReduce并行構(gòu)建描述43
• 5.4.4 瓦片數(shù)據(jù)存儲(chǔ)編碼描述43-44
• 5.4.5 瓦片并行化存儲(chǔ)方法44-45
• 5.4.6 瓦片存儲(chǔ)處理流程45
• 5.5 系統(tǒng)集成的優(yōu)化設(shè)計(jì)45-47
• 5.5.1 輸入/輸出屬性類的優(yōu)化46
• 5.5.2 MapReduce屬性類的優(yōu)化46-47
• 5.6 本章小結(jié)47-48
• 第六章 實(shí)驗(yàn)設(shè)計(jì)與結(jié)果分析48-56
• 6.1 實(shí)驗(yàn)環(huán)境的配置48-51
• 6.1.1 Hadoop集群硬件環(huán)境配置48
• 6.1.2 Hadoop集群免密碼登錄配置48-49
• 6.1.3 Hadoop 2.0環(huán)境配置49-51
• 6.2 實(shí)驗(yàn)設(shè)計(jì)51
• 6.3 實(shí)驗(yàn)結(jié)果分析51-55
• 6.3.1 精配準(zhǔn)處理時(shí)間對(duì)比52-53
• 6.3.2 PS點(diǎn)分析處理實(shí)驗(yàn)分析53
• 6.3.3 影像數(shù)據(jù)存儲(chǔ)實(shí)驗(yàn)分析53-55
• 6.4 本章小結(jié)55-56
• 第七章 總結(jié)與展望56-58
• 7.1 總結(jié)56
• 7.2 展望56-58
• 致謝58-59
• 參考文獻(xiàn)59-61
• 縮略詞表61

【相似文獻(xiàn)】

中國(guó)期刊全文數(shù)據(jù)庫 前10條

1 劉曉龍;李英成;;遙感數(shù)據(jù)訂購(gòu)與管理軟件的開發(fā)與應(yīng)用[J];測(cè)繪科學(xué);2006年04期

2 董秀珍;劉德長(zhǎng);葉發(fā)旺;宣艷秀;;遙感數(shù)據(jù)及航放、航磁數(shù)據(jù)處理淺析[J];世界核地質(zhì)科學(xué);2009年02期

3 李斌斌;馮鐘葵;唐夢(mèng)輝;;遙感數(shù)據(jù)異地歸檔方法研究與實(shí)現(xiàn)[J];遙感信息;2011年02期

4 嚴(yán)瑾;;遙感數(shù)據(jù)應(yīng)急服務(wù)機(jī)制研究與實(shí)現(xiàn)[J];硅谷;2011年11期

5 姜宇鳴;陳道波;;遙感數(shù)據(jù)記錄存檔軟件的設(shè)計(jì)與實(shí)現(xiàn)[J];鄭州輕工業(yè)學(xué)院學(xué)報(bào)(自然科學(xué)版);2011年03期

6 張文;孟令奎;周揚(yáng);趙銘;涂振發(fā);婁書榮;;多源水利遙感數(shù)據(jù)的一體化管理機(jī)制研究[J];水利信息化;2012年04期

7 謝怡;利用遙感數(shù)據(jù)研究地球變化[J];中國(guó)航天;1991年08期

8 李四海;提高遙感數(shù)據(jù)分類應(yīng)用性的有效途徑[J];國(guó)土資源遙感;1995年04期

9 李四海;淺談提高遙感數(shù)據(jù)分類精度的方法[J];遙感信息;1995年04期

10 吳美蓉;中巴地球資源衛(wèi)星應(yīng)用及其發(fā)展[J];測(cè)繪科學(xué);2000年02期

中國(guó)重要會(huì)議論文全文數(shù)據(jù)庫 前10條

1 任娜;朱長(zhǎng)青;;一種抗拼接的瓦片遙感數(shù)據(jù)水印算法[A];第四屆“測(cè)繪科學(xué)前沿技術(shù)論壇”論文精選[C];2012年

2 黃二輝;潘德爐;楊燕明;;海洋遙感數(shù)據(jù)的時(shí)空分布經(jīng)驗(yàn)正交分析方法研究[A];第十五屆全國(guó)遙感技術(shù)學(xué)術(shù)交流會(huì)論文摘要集[C];2005年

3 徐國(guó)富;鄧正棟;于德浩;;基于遙感數(shù)據(jù)的民用渡口選址模型及實(shí)例分析[A];國(guó)家安全地球物理叢書（八）——遙感地球物理與國(guó)家安全[C];2012年

4 譚福強(qiáng);董雙發(fā);;遙感數(shù)據(jù)的尺度效應(yīng)與遙感應(yīng)用[A];第十四屆全國(guó)遙感技術(shù)學(xué)術(shù)交流會(huì)論文摘要集[C];2003年

5 翟永;宋雪生;;遙感數(shù)據(jù)成果的分級(jí)存儲(chǔ)管理[A];第十五屆全國(guó)遙感技術(shù)學(xué)術(shù)交流會(huì)論文摘要集[C];2005年

6 李幸麗;杜培軍;;面向數(shù)字城市的遙感數(shù)據(jù)挖掘及其應(yīng)用[A];第十五屆全國(guó)遙感技術(shù)學(xué)術(shù)交流會(huì)論文摘要集[C];2005年

7 張偉;;高空間分辨率遙感數(shù)據(jù)的預(yù)處理方法——以泉州快鳥數(shù)據(jù)為例[A];2007年福建省土地學(xué)會(huì)年會(huì)征文集[C];2007年

8 謝鋒;潘明忠;亓洪興;徐衛(wèi)明;張雷;舒嶸;戴寧;薛永祺;;支持農(nóng)業(yè)遙感數(shù)據(jù)產(chǎn)品開發(fā)與驗(yàn)證的相關(guān)技術(shù)進(jìn)展[A];全國(guó)農(nóng)業(yè)遙感技術(shù)研討會(huì)論文集[C];2009年

9 鐘志勇;陳映鷹;;海量遙感數(shù)據(jù)應(yīng)用方法初探[A];第十四屆全國(guó)遙感技術(shù)學(xué)術(shù)交流會(huì)論文摘要集[C];2003年

10 潘強(qiáng);孫建中;倪麗萍;張杰;;上海城市遙感數(shù)據(jù)平臺(tái)的構(gòu)建及其在城市信息化進(jìn)程中的作用[A];第十四屆全國(guó)遙感技術(shù)學(xué)術(shù)交流會(huì)論文摘要集[C];2003年

中國(guó)重要報(bào)紙全文數(shù)據(jù)庫 前10條

1 陳城;遙感數(shù)據(jù)把脈京城未來規(guī)劃[N];建筑時(shí)報(bào);2009年

2 本報(bào)記者 操秀英 陳磊;應(yīng)急“蓄水池”：遙感數(shù)據(jù)在這里匯聚[N];科技日?qǐng)?bào);2013年

3 王彤琪;黃河凌情遙感數(shù)據(jù)更豐富 應(yīng)用更便捷[N];黃河報(bào);2009年

4 記者 李大慶;我國(guó)遙感數(shù)據(jù)信息利用率不足5%[N];科技日?qǐng)?bào);2011年

5 記者 李安利;測(cè)繪系統(tǒng)遙感數(shù)據(jù)服務(wù)體系日臻完善[N];中國(guó)測(cè)繪報(bào);2003年

6 楊平;遙感數(shù)據(jù)有了處理新工具[N];科技日?qǐng)?bào);2003年

7 李紅梅;南亞:使用遙感數(shù)據(jù)監(jiān)測(cè)旱情[N];中國(guó)水利報(bào);2012年

8 龐劍波 鄭雄偉;三峽庫區(qū)首獲航空遙感數(shù)據(jù)[N];地質(zhì)勘查導(dǎo)報(bào);2009年

9 呂世充　蔚曉涵;武漢珈和遙感數(shù)據(jù)中心平臺(tái)服務(wù)農(nóng)業(yè)[N];中國(guó)測(cè)繪報(bào);2014年

10 ;拓寬服務(wù)領(lǐng)域 提供高質(zhì)量遙感數(shù)據(jù)[N];中國(guó)測(cè)繪報(bào);2002年

中國(guó)博士學(xué)位論文全文數(shù)據(jù)庫 前6條

1 程付超;面向海量遙感數(shù)據(jù)的分布式混合計(jì)算技術(shù)研究[D];成都理工大學(xué);2014年

2 馬超飛;基于關(guān)聯(lián)規(guī)則的遙感數(shù)據(jù)挖掘與應(yīng)用[D];中國(guó)科學(xué)院研究生院（遙感應(yīng)用研究所）;2002年

3 周松濤;海量遙感數(shù)據(jù)的高性能處理及可視化應(yīng)用研究[D];武漢大學(xué);2013年

4 常歌;基于遙感數(shù)據(jù)的城市景觀建模技術(shù)研究與實(shí)踐[D];解放軍信息工程大學(xué);2001年

5 哈斯巴干;神經(jīng)網(wǎng)絡(luò)及其組合算法的遙感數(shù)據(jù)分類研究[D];中國(guó)科學(xué)院研究生院（遙感應(yīng)用研究所）;2003年

6 穆超;基于多種遙感數(shù)據(jù)的電力線走廊特征物提取方法研究[D];武漢大學(xué);2010年

中國(guó)碩士學(xué)位論文全文數(shù)據(jù)庫 前10條

1 熊賢成;基于MODIS遙感數(shù)據(jù)的特定云屬性研究[D];電子科技大學(xué);2015年

2 王玲玲;基于多源遙感數(shù)據(jù)四川省伏旱監(jiān)測(cè)[D];成都信息工程學(xué)院;2015年

3 元沐南;基于開源WebGIS的遙感數(shù)據(jù)可視化模型研究與實(shí)現(xiàn)[D];河南大學(xué);2015年

4 張振鵬;遙感數(shù)據(jù)分發(fā)系統(tǒng)主動(dòng)隊(duì)列控制模式的研究與應(yīng)用[D];河南大學(xué);2015年

5 杜珍星;面向海量遙感數(shù)據(jù)的數(shù)據(jù)庫同步技術(shù)研究[D];河南大學(xué);2015年

6 孔帥可;基于Swift的海量遙感數(shù)據(jù)云存儲(chǔ)技術(shù)研究與應(yīng)用[D];河南大學(xué);2015年

7 冶鑫晨;云環(huán)境下基于地理位置活躍度的遙感數(shù)據(jù)節(jié)能處理策略[D];新疆大學(xué);2016年

8 鐘金沙;Hadoop在PSInSAR遙感數(shù)據(jù)并行處理中的研究及應(yīng)用[D];東南大學(xué);2015年

9 張哲;基于海量遙感數(shù)據(jù)的集群并行處理技術(shù)研究與應(yīng)用[D];河南大學(xué);2012年

10 方聰;基于對(duì)等架構(gòu)的海量遙感數(shù)據(jù)分發(fā)系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)[D];浙江大學(xué);2013年

，

本文編號(hào)：997479