本文關(guān)鍵詞：基于Hadoop的遙感數(shù)據(jù)存儲(chǔ)與管理系統(tǒng)的研究與實(shí)現(xiàn)

  更多相關(guān)文章： Hadoop 遙感數(shù)據(jù) GDAL GeoWebCache 存儲(chǔ)管理

【摘要】：衛(wèi)星遙感獲取技術(shù)的發(fā)展,使得遙感數(shù)據(jù)快速增長(zhǎng),傳統(tǒng)的遙感數(shù)據(jù)存儲(chǔ)與管理方式已經(jīng)難以滿足實(shí)際使用需求。近年來(lái),云計(jì)算技術(shù)為遙感數(shù)據(jù)的處理提供了解決方案。本文將云計(jì)算技術(shù)應(yīng)用于GIS領(lǐng)域,研究實(shí)現(xiàn)了一個(gè)基于Hadoop的遙感數(shù)據(jù)存儲(chǔ)與管理系統(tǒng)。具體而言,論文的主要工作包括以下幾個(gè)方面：(1)基于Hadoop云計(jì)算平臺(tái),設(shè)計(jì)了一個(gè)遙感數(shù)據(jù)存儲(chǔ)與管理系統(tǒng),主要功能包括遙感數(shù)據(jù)快速入庫(kù)、遙感影像金字塔并行構(gòu)建、遙感數(shù)據(jù)按需發(fā)布等。(2)設(shè)計(jì)和實(shí)現(xiàn)了遙感數(shù)據(jù)快速入庫(kù)模塊。該模塊為數(shù)據(jù)管理員提供遙感數(shù)據(jù)下載功能,支持HTTP協(xié)議和FTP協(xié)議的多線程分布式斷點(diǎn)續(xù)傳下載,能夠存儲(chǔ)大規(guī)模的遙感數(shù)據(jù),并可根據(jù)實(shí)際需要擴(kuò)展存儲(chǔ)節(jié)點(diǎn),方便數(shù)據(jù)管理員對(duì)遙感數(shù)據(jù)的管理。(3)設(shè)計(jì)和實(shí)現(xiàn)了遙感影像金字塔并行構(gòu)建模塊。該模塊實(shí)現(xiàn)了基于MapReduce的遙感影像金字塔并行構(gòu)建算法,可對(duì)大規(guī)模遙感數(shù)據(jù)進(jìn)行分層切割、分塊存儲(chǔ)。該模塊采用了適合快速讀取柵格數(shù)據(jù)的(DAL開(kāi)源類庫(kù),為遙感數(shù)據(jù)并行切割提供數(shù)據(jù)源。(4)設(shè)計(jì)和實(shí)現(xiàn)了遙感數(shù)據(jù)按需發(fā)布模塊。該模塊為用戶提供遙感數(shù)據(jù)的訪問(wèn),采用了GeoWebCache開(kāi)源瓦片她圖服務(wù)中間件,引入了HBase作為瓦片的存儲(chǔ)支撐.可以處理大量用戶的并發(fā)訪問(wèn),包括對(duì)地圖的加載和拖拽等。(5)開(kāi)展了系統(tǒng)測(cè)試,驗(yàn)證了本文提出的方法的有效性和實(shí)用性。測(cè)試可以表明,基于Hadoop的遙感數(shù)據(jù)存儲(chǔ)與管理系統(tǒng)可有效處理遙感數(shù)據(jù),改善了用戶的體驗(yàn)。
【關(guān)鍵詞】：Hadoop 遙感數(shù)據(jù) GDAL GeoWebCache 存儲(chǔ)管理
【學(xué)位授予單位】：東南大學(xué)
【學(xué)位級(jí)別】：碩士
【學(xué)位授予年份】：2016
【分類號(hào)】：TP311.52;TP751
【目錄】：

• 摘要4-5
• Abstract5-8
• 第一章 緒論8-13
• 1.1 研究背景與意義8-9
• 1.2 國(guó)內(nèi)外研究現(xiàn)狀9-11
• 1.3 論文的研究?jī)?nèi)容11
• 1.4 論文的組織結(jié)構(gòu)11-13
• 第二章 相關(guān)技術(shù)概述13-19
• 2.1 云計(jì)算平臺(tái)Hadoop13-16
• 2.1.1 分布式文件系統(tǒng)HDFS13-14
• 2.1.2 分布式計(jì)算模型MapReduce14-15
• 2.1.3 分布式數(shù)據(jù)庫(kù)HBase15-16
• 2.2 柵格空間數(shù)據(jù)轉(zhuǎn)換庫(kù)GDAL16-17
• 2.3 遙感影像金字塔技術(shù)17
• 2.4 瓦片緩存中間件GeoWebCache17-18
• 2.5 本章小結(jié)18-19
• 第三章 系統(tǒng)分析與設(shè)計(jì)19-39
• 3.1 需求分析19-21
• 3.1.1 概述19
• 3.1.2 功能需求19-21
• 3.1.3 性能需求21
• 3.2 框架設(shè)計(jì)21-22
• 3.3 總體設(shè)計(jì)22-23
• 3.4 模塊設(shè)計(jì)23-35
• 3.4.1 遙感數(shù)據(jù)快速入庫(kù)模塊設(shè)計(jì)23-28
• 3.4.2 遙感影像金字塔并行構(gòu)建模塊設(shè)計(jì)28-33
• 3.4.3 遙感數(shù)據(jù)按需發(fā)布模塊設(shè)計(jì)33-35
• 3.5 數(shù)據(jù)庫(kù)設(shè)計(jì)35-38
• 3.5.1 數(shù)據(jù)庫(kù)設(shè)計(jì)概述35
• 3.5.2 數(shù)據(jù)表字段設(shè)計(jì)35-38
• 3.6 本章小結(jié)38-39
• 第四章 系統(tǒng)主要功能的實(shí)現(xiàn)39-49
• 4.1 系統(tǒng)架構(gòu)39-40
• 4.2 遙感數(shù)據(jù)快速入庫(kù)模塊的實(shí)現(xiàn)40-41
• 4.2.1 模塊實(shí)現(xiàn)40
• 4.2.2 FTP遠(yuǎn)程數(shù)據(jù)入庫(kù)40-41
• 4.2.3 HTTP遠(yuǎn)程數(shù)據(jù)入庫(kù)41
• 4.2.4 模塊流程41
• 4.3 遙感影像金字塔并行構(gòu)建模塊的實(shí)現(xiàn)41-45
• 4.3.1 GDAL讀取遙感數(shù)據(jù)41-42
• 4.3.2 瓦片的行列號(hào)編碼及目錄結(jié)構(gòu)42-43
• 4.3.3 基于MapReduce的遙感影像金字塔并行構(gòu)建方法43-44
• 4.3.4 模塊流程44-45
• 4.4 遙感數(shù)據(jù)按需發(fā)布模塊的實(shí)現(xiàn)45-48
• 4.4.1 配置文件的生成45-47
• 4.4.2 GeoWebCache與HBase的結(jié)合47
• 4.4.3 模塊流程47-48
• 4.5 本章小結(jié)48-49
• 第五章 系統(tǒng)測(cè)試49-59
• 5.1 測(cè)試準(zhǔn)備49-50
• 5.2 測(cè)試方案50
• 5.3 測(cè)試結(jié)果及分析50-58
• 5.3.1 功能測(cè)試50-53
• 5.3.2 性能測(cè)試53-57
• 5.3.3 結(jié)果分析57-58
• 5.4 本章小結(jié)58-59
• 第六章 總結(jié)與展望59-61
• 6.1 總結(jié)59
• 6.2 展望59-61
• 致謝61-62
• 參考文獻(xiàn)62-63

【相似文獻(xiàn)】

中國(guó)期刊全文數(shù)據(jù)庫(kù) 前10條

1 劉曉龍;李英成;;遙感數(shù)據(jù)訂購(gòu)與管理軟件的開(kāi)發(fā)與應(yīng)用[J];測(cè)繪科學(xué);2006年04期

2 董秀珍;劉德長(zhǎng);葉發(fā)旺;宣艷秀;;遙感數(shù)據(jù)及航放、航磁數(shù)據(jù)處理淺析[J];世界核地質(zhì)科學(xué);2009年02期

3 李斌斌;馮鐘葵;唐夢(mèng)輝;;遙感數(shù)據(jù)異地歸檔方法研究與實(shí)現(xiàn)[J];遙感信息;2011年02期

4 嚴(yán)瑾;;遙感數(shù)據(jù)應(yīng)急服務(wù)機(jī)制研究與實(shí)現(xiàn)[J];硅谷;2011年11期

5 姜宇鳴;陳道波;;遙感數(shù)據(jù)記錄存檔軟件的設(shè)計(jì)與實(shí)現(xiàn)[J];鄭州輕工業(yè)學(xué)院學(xué)報(bào)(自然科學(xué)版);2011年03期

6 張文;孟令奎;周揚(yáng);趙銘;涂振發(fā);婁書榮;;多源水利遙感數(shù)據(jù)的一體化管理機(jī)制研究[J];水利信息化;2012年04期

7 謝怡;利用遙感數(shù)據(jù)研究地球變化[J];中國(guó)航天;1991年08期

8 李四海;提高遙感數(shù)據(jù)分類應(yīng)用性的有效途徑[J];國(guó)土資源遙感;1995年04期

9 李四海;淺談提高遙感數(shù)據(jù)分類精度的方法[J];遙感信息;1995年04期

10 吳美蓉;中巴地球資源衛(wèi)星應(yīng)用及其發(fā)展[J];測(cè)繪科學(xué);2000年02期

中國(guó)重要會(huì)議論文全文數(shù)據(jù)庫(kù) 前10條

1 任娜;朱長(zhǎng)青;;一種抗拼接的瓦片遙感數(shù)據(jù)水印算法[A];第四屆“測(cè)繪科學(xué)前沿技術(shù)論壇”論文精選[C];2012年

2 黃二輝;潘德?tīng)t;楊燕明;;海洋遙感數(shù)據(jù)的時(shí)空分布經(jīng)驗(yàn)正交分析方法研究[A];第十五屆全國(guó)遙感技術(shù)學(xué)術(shù)交流會(huì)論文摘要集[C];2005年

3 徐國(guó)富;鄧正棟;于德浩;;基于遙感數(shù)據(jù)的民用渡口選址模型及實(shí)例分析[A];國(guó)家安全地球物理叢書（八）——遙感地球物理與國(guó)家安全[C];2012年

4 譚福強(qiáng);董雙發(fā);;遙感數(shù)據(jù)的尺度效應(yīng)與遙感應(yīng)用[A];第十四屆全國(guó)遙感技術(shù)學(xué)術(shù)交流會(huì)論文摘要集[C];2003年

5 翟永;宋雪生;;遙感數(shù)據(jù)成果的分級(jí)存儲(chǔ)管理[A];第十五屆全國(guó)遙感技術(shù)學(xué)術(shù)交流會(huì)論文摘要集[C];2005年

6 李幸麗;杜培軍;;面向數(shù)字城市的遙感數(shù)據(jù)挖掘及其應(yīng)用[A];第十五屆全國(guó)遙感技術(shù)學(xué)術(shù)交流會(huì)論文摘要集[C];2005年

7 張偉;;高空間分辨率遙感數(shù)據(jù)的預(yù)處理方法——以泉州快鳥數(shù)據(jù)為例[A];2007年福建省土地學(xué)會(huì)年會(huì)征文集[C];2007年

8 謝鋒;潘明忠;亓洪興;徐衛(wèi)明;張雷;舒嶸;戴寧;薛永祺;;支持農(nóng)業(yè)遙感數(shù)據(jù)產(chǎn)品開(kāi)發(fā)與驗(yàn)證的相關(guān)技術(shù)進(jìn)展[A];全國(guó)農(nóng)業(yè)遙感技術(shù)研討會(huì)論文集[C];2009年

9 鐘志勇;陳映鷹;;海量遙感數(shù)據(jù)應(yīng)用方法初探[A];第十四屆全國(guó)遙感技術(shù)學(xué)術(shù)交流會(huì)論文摘要集[C];2003年

10 潘強(qiáng);孫建中;倪麗萍;張杰;;上海城市遙感數(shù)據(jù)平臺(tái)的構(gòu)建及其在城市信息化進(jìn)程中的作用[A];第十四屆全國(guó)遙感技術(shù)學(xué)術(shù)交流會(huì)論文摘要集[C];2003年

中國(guó)重要報(bào)紙全文數(shù)據(jù)庫(kù) 前10條

1 陳城;遙感數(shù)據(jù)把脈京城未來(lái)規(guī)劃[N];建筑時(shí)報(bào);2009年

2 本報(bào)記者 操秀英 陳磊;應(yīng)急“蓄水池”：遙感數(shù)據(jù)在這里匯聚[N];科技日?qǐng)?bào);2013年

3 王彤琪;黃河凌情遙感數(shù)據(jù)更豐富 應(yīng)用更便捷[N];黃河報(bào);2009年

4 記者 李大慶;我國(guó)遙感數(shù)據(jù)信息利用率不足5%[N];科技日?qǐng)?bào);2011年

5 記者 李安利;測(cè)繪系統(tǒng)遙感數(shù)據(jù)服務(wù)體系日臻完善[N];中國(guó)測(cè)繪報(bào);2003年

6 楊平;遙感數(shù)據(jù)有了處理新工具[N];科技日?qǐng)?bào);2003年

7 李紅梅;南亞:使用遙感數(shù)據(jù)監(jiān)測(cè)旱情[N];中國(guó)水利報(bào);2012年

8 龐劍波 鄭雄偉;三峽庫(kù)區(qū)首獲航空遙感數(shù)據(jù)[N];地質(zhì)勘查導(dǎo)報(bào);2009年

9 呂世充　蔚曉涵;武漢珈和遙感數(shù)據(jù)中心平臺(tái)服務(wù)農(nóng)業(yè)[N];中國(guó)測(cè)繪報(bào);2014年

10 ;拓寬服務(wù)領(lǐng)域 提供高質(zhì)量遙感數(shù)據(jù)[N];中國(guó)測(cè)繪報(bào);2002年

中國(guó)博士學(xué)位論文全文數(shù)據(jù)庫(kù) 前6條

1 程付超;面向海量遙感數(shù)據(jù)的分布式混合計(jì)算技術(shù)研究[D];成都理工大學(xué);2014年

2 馬超飛;基于關(guān)聯(lián)規(guī)則的遙感數(shù)據(jù)挖掘與應(yīng)用[D];中國(guó)科學(xué)院研究生院（遙感應(yīng)用研究所）;2002年

3 周松濤;海量遙感數(shù)據(jù)的高性能處理及可視化應(yīng)用研究[D];武漢大學(xué);2013年

4 常歌;基于遙感數(shù)據(jù)的城市景觀建模技術(shù)研究與實(shí)踐[D];解放軍信息工程大學(xué);2001年

5 哈斯巴干;神經(jīng)網(wǎng)絡(luò)及其組合算法的遙感數(shù)據(jù)分類研究[D];中國(guó)科學(xué)院研究生院（遙感應(yīng)用研究所）;2003年

6 穆超;基于多種遙感數(shù)據(jù)的電力線走廊特征物提取方法研究[D];武漢大學(xué);2010年

中國(guó)碩士學(xué)位論文全文數(shù)據(jù)庫(kù) 前10條

1 熊賢成;基于MODIS遙感數(shù)據(jù)的特定云屬性研究[D];電子科技大學(xué);2015年

2 王玲玲;基于多源遙感數(shù)據(jù)四川省伏旱監(jiān)測(cè)[D];成都信息工程學(xué)院;2015年

3 元沐南;基于開(kāi)源WebGIS的遙感數(shù)據(jù)可視化模型研究與實(shí)現(xiàn)[D];河南大學(xué);2015年

4 張振鵬;遙感數(shù)據(jù)分發(fā)系統(tǒng)主動(dòng)隊(duì)列控制模式的研究與應(yīng)用[D];河南大學(xué);2015年

5 杜珍星;面向海量遙感數(shù)據(jù)的數(shù)據(jù)庫(kù)同步技術(shù)研究[D];河南大學(xué);2015年

6 孔帥可;基于Swift的海量遙感數(shù)據(jù)云存儲(chǔ)技術(shù)研究與應(yīng)用[D];河南大學(xué);2015年

7 冶鑫晨;云環(huán)境下基于地理位置活躍度的遙感數(shù)據(jù)節(jié)能處理策略[D];新疆大學(xué);2016年

8 鐘金沙;Hadoop在PSInSAR遙感數(shù)據(jù)并行處理中的研究及應(yīng)用[D];東南大學(xué);2015年

9 趙靜;基于DART模型的遙感數(shù)據(jù)空間尺度轉(zhuǎn)換分析[D];遼寧工程技術(shù)大學(xué);2015年

10 王銳;海洋遙感數(shù)據(jù)傳輸系統(tǒng)研究與設(shè)計(jì)[D];遼寧工程技術(shù)大學(xué);2015年

，

本文編號(hào)：560157