發(fā)布時(shí)間：2017-08-05 19:31

  本文關(guān)鍵詞：基于Hadoop的分布式遙感圖像處理研究

  更多相關(guān)文章： Hadoop集群 MapReduce計(jì)算框架 GDAL 遙感圖像處理 聚合大影像

【摘要】：隨著衛(wèi)星遙感和航空攝影技術(shù)的不斷發(fā)展,人類(lèi)獲得遙感影像數(shù)據(jù)的方式越來(lái)越多,使得遙感影像數(shù)據(jù)朝著高分辨率、多時(shí)相、多波段的海量數(shù)據(jù)發(fā)展,導(dǎo)致遙感影像數(shù)據(jù)量呈指數(shù)增長(zhǎng)。海量遙感影像數(shù)據(jù)的高效的存儲(chǔ)、有效的組織、快速的處理計(jì)算已成為當(dāng)今遙感領(lǐng)域研究的熱點(diǎn),分布式存儲(chǔ)與并行計(jì)算為上述研究提供了有效的解決方案。近幾年,Hadoop已成為最流行最成功的開(kāi)源分布式系統(tǒng)框架,具有高可靠性、高擴(kuò)展性、高效性及高容錯(cuò)性等優(yōu)勢(shì),核心內(nèi)容是HDFS (Hadoop Distributed File System)和MapReduce。越來(lái)越多的人使用Hadoop來(lái)解決海量數(shù)據(jù)的存儲(chǔ)與計(jì)算問(wèn)題,已在搜索引擎、電子商務(wù)、社交網(wǎng)絡(luò)中取得了巨大成功。GDAL (Geospatial Data Abstraction Library)是一套柵格空間數(shù)據(jù)開(kāi)源庫(kù),可通過(guò)插件對(duì)支持格式進(jìn)行擴(kuò)展。GDAL支持多數(shù)遙感影像格式讀寫(xiě),開(kāi)發(fā)人員不需要考慮不同影像格式之間的差異,實(shí)現(xiàn)一套代碼處理多種影像格式。結(jié)合GDAL強(qiáng)大的柵格支持能力和Hadoop強(qiáng)大的存儲(chǔ)與計(jì)算能力,開(kāi)發(fā)人員可以通過(guò)編寫(xiě)MapReduce程序提高對(duì)海量遙感影像的處理效率。本文結(jié)合理論研究和實(shí)際應(yīng)用需求,根據(jù)GDAL讀寫(xiě)圖像的方式,對(duì)HDFS存儲(chǔ)特點(diǎn)和MapReduce框架編程模式進(jìn)行研究與分析,開(kāi)發(fā)結(jié)合GDAL和Hadoop的遙感圖像處理程序。本文研究?jī)?nèi)容和成果主要包括以下幾個(gè)方面：一、分析MapReduce框架的編程模式,研究MapReduce處理文本數(shù)據(jù)的流程,結(jié)合GDAL實(shí)現(xiàn)了處理遙感影像的MapReduce庫(kù)。二、對(duì)比單機(jī)、Hadoop集群及Hadoop集群不同情況下處理等量圖像的最小距離分類(lèi)效率。結(jié)果表明,計(jì)算數(shù)據(jù)量、計(jì)算成本及機(jī)器成本對(duì)遙感圖像處理操作的效率具有較大的影響。因此,在考慮是否使用Hadoop集群以及Hadoop集群規(guī)模,需要綜合考慮以上三個(gè)因素。三、由于Hadoop集群在處理單個(gè)大文件的效率優(yōu)于同時(shí)處理等數(shù)據(jù)量的多個(gè)小文件,因此本文自定義聚合大影像文件格式,將多個(gè)影像聚合到一個(gè)文件中,減少HDFS上文件數(shù)量,提高元數(shù)據(jù)存儲(chǔ)內(nèi)存利用率和檢索時(shí)間,實(shí)現(xiàn)MapReduce的每個(gè)任務(wù)處理多幅影像,提高每個(gè)任務(wù)的利用率,并以圖像投影轉(zhuǎn)換為例,進(jìn)行Hadoop對(duì)比實(shí)驗(yàn),驗(yàn)證聚合大影像格式的可行性和高效性。
【關(guān)鍵詞】：Hadoop集群 MapReduce計(jì)算框架 GDAL 遙感圖像處理 聚合大影像
【學(xué)位授予單位】：華東師范大學(xué)
【學(xué)位級(jí)別】：碩士
【學(xué)位授予年份】：2015
【分類(lèi)號(hào)】：P237
【目錄】：

• 摘要6-8
• Abstract8-12
• 第一章 緒論12-19
• 1.1 研究背景及意義12-13
• 1.2 國(guó)內(nèi)外研究現(xiàn)狀13-17
• 1.2.1 基于Hadoop的數(shù)字圖像處理13-16
• 1.2.2 基于Hadoop的空間數(shù)據(jù)開(kāi)源庫(kù)16-17
• 1.3 研究?jī)?nèi)容17-18
• 1.4 論文結(jié)構(gòu)18-19
• 第二章 Hadoop簡(jiǎn)介19-37
• 2.1 Hadoop概況19-21
• 2.2 HDFS簡(jiǎn)介21-27
• 2.2.1 HDFS特點(diǎn)21-22
• 2.2.2 HDFS架構(gòu)22-27
• 2.3 MapReduce簡(jiǎn)介27-37
• 2.3.1 MapReduce編程模型27-34
• 2.3.2 MapReduce作業(yè)流程34-37
• 第三章 GDAL概述37-47
• 3.1 GDAL介紹37-38
• 3.2 GDAL數(shù)據(jù)模型38-41
• 3.2.1 數(shù)據(jù)集(Dataset)38-39
• 3.2.2 坐標(biāo)系統(tǒng)(Coordinate System)39
• 3.2.3 仿射地理坐標(biāo)轉(zhuǎn)換(Affine GeoTransform)39-40
• 3.2.4 子數(shù)據(jù)集域(Subdatasets Domain)40-41
• 3.2.5 柵格波段(Raster Band)41
• 3.3 GDAL類(lèi)結(jié)構(gòu)41-45
• 3.3.1 gdal42-43
• 3.3.2 Dataset43
• 3.3.3 Band43-45
• 3.4 GDAL編譯45-47
• 第四章 Hadoop分布式系統(tǒng)框架搭建及遙感圖像處理工具開(kāi)發(fā)47-63
• 4.1 Hadoop完全分布式集群搭建47-51
• 4.1.1 Hadoop集群安裝48-49
• 4.1.2 Hadoop集群運(yùn)行49-51
• 4.2 基于Hadoop的圖像處理公共類(lèi)51-57
• 4.2.1 圖像的輸入格式設(shè)計(jì)51-52
• 4.2.2 圖像的輸出格式設(shè)計(jì)52-54
• 4.2.3 影像聚合54-57
• 4.3 圖像最小距離分類(lèi)MapReduce程序設(shè)計(jì)57-59
• 4.4 圖像統(tǒng)計(jì)MapReduce程序設(shè)計(jì)59-61
• 4.5 圖像投影轉(zhuǎn)換MapReduce程序設(shè)計(jì)61-63
• 第五章 基于Hadoop框架的遙感圖像處理效率分析63-76
• 5.1 圖像分類(lèi)及統(tǒng)計(jì)對(duì)比實(shí)驗(yàn)63-73
• 5.1.1 實(shí)驗(yàn)數(shù)據(jù)63-64
• 5.1.2 實(shí)驗(yàn)方法64-66
• 5.1.3 實(shí)驗(yàn)結(jié)果66-69
• 5.1.4 結(jié)果分析69-73
• 5.2 圖像投影轉(zhuǎn)換實(shí)驗(yàn)73-76
• 5.2.1 實(shí)驗(yàn)數(shù)據(jù)73
• 5.2.2 實(shí)驗(yàn)方法73-74
• 5.2.3 實(shí)驗(yàn)結(jié)果74
• 5.2.4 結(jié)果分析74-76
• 第六章 結(jié)論與展望76-78
• 6.1 論文研究成果76-77
• 6.2 論文存在的不足及進(jìn)一步工作77-78
• 參考文獻(xiàn)78-83
• 后記8

【相似文獻(xiàn)】

中國(guó)期刊全文數(shù)據(jù)庫(kù) 前10條

1 李熙;;基于應(yīng)用導(dǎo)向的遙感圖像處理實(shí)踐教學(xué)[J];科技資訊;2013年30期

2 單勇兵,趙軍;數(shù)學(xué)形態(tài)學(xué)在遙感圖像處理中的應(yīng)用[J];三晉測(cè)繪;2002年Z1期

3 李瑋;袁運(yùn)能;朱博勤;;自適應(yīng)方法在遙感圖像處理中的應(yīng)用研究[J];遙感信息;2006年01期

4 閔愛(ài)蓮;;關(guān)于遙感圖像處理實(shí)驗(yàn)室建設(shè)與管理的幾點(diǎn)思考[J];實(shí)驗(yàn)室科學(xué);2008年05期

5 張旭晴;陳圣波;范繼璋;魏曉輝;金晟業(yè);;網(wǎng)格環(huán)境下批量遙感圖像處理[J];世界地質(zhì);2009年03期

6 李軍,李德仁;分布式遙感圖像處理中的若干關(guān)鍵技術(shù)[J];武漢測(cè)繪科技大學(xué)學(xué)報(bào);1999年01期

7 李金海,林曉鋒,李國(guó)建,糜偉,王家學(xué);利用遙感圖像處理的方法進(jìn)行北京市綠化隔離地區(qū)綠地調(diào)查[J];國(guó)土資源信息化;2002年02期

8 嚴(yán)紅萍;俞兵;;主成分分析在遙感圖像處理中的應(yīng)用[J];資源環(huán)境與工程;2006年02期

9 郭丁;顧行發(fā);余濤;趙輝;馬紅濤;;基于分?jǐn)?shù)階濾波器的遙感圖像處理[J];國(guó)土資源遙感;2011年01期

10 高峰;;大數(shù)據(jù)量微機(jī)遙感圖像處理技巧[J];遙感技術(shù)與應(yīng)用;1993年03期

中國(guó)重要會(huì)議論文全文數(shù)據(jù)庫(kù) 前7條

1 武冰;周石琳;;遙感圖像處理中的數(shù)學(xué)形態(tài)學(xué)應(yīng)用[A];2005年中國(guó)智能自動(dòng)化會(huì)議論文集[C];2005年

2 李瑋;朱博勤;袁運(yùn)能;;自適應(yīng)方法在遙感圖像處理中的應(yīng)用研究[A];第十五屆全國(guó)遙感技術(shù)學(xué)術(shù)交流會(huì)論文摘要集[C];2005年

3 匡鴻海;況明生;;多媒體數(shù)據(jù)壓縮技術(shù)在遙感圖像處理中的應(yīng)用[A];中國(guó)圖象圖形學(xué)會(huì)第十屆全國(guó)圖像圖形學(xué)術(shù)會(huì)議（CIG’2001）和第一屆全國(guó)虛擬現(xiàn)實(shí)技術(shù)研討會(huì)（CVR’2001）論文集[C];2001年

4 苑馨方;賈媛媛;李子揚(yáng);;蘆山地震遙感圖像處理與應(yīng)用[A];中國(guó)地震學(xué)會(huì)空間對(duì)地觀測(cè)專(zhuān)業(yè)委員會(huì)2013年學(xué)術(shù)研討會(huì)論文摘要集[C];2013年

5 李樹(shù)甫;陳亮;;偵察遙感圖像處理中的地球物理問(wèn)題初探[A];國(guó)家安全工程地球物理研究——第二屆國(guó)家安全地球物理學(xué)術(shù)研討會(huì)論文集[C];2006年

6 馬成龍;李文科;;基于“3S”技術(shù)的干旱預(yù)警監(jiān)測(cè)研究[A];GPS在水利行業(yè)應(yīng)用研討會(huì)論文集[C];2007年

7 王華林;王東雷;王紀(jì)強(qiáng);杜立英;劉霞;;淄博、濰坊地區(qū)遙感圖像處理與地質(zhì)構(gòu)造解譯[A];第二屆“測(cè)繪科學(xué)前沿技術(shù)論壇”論文精選[C];2010年

中國(guó)重要報(bào)紙全文數(shù)據(jù)庫(kù) 前1條

1 本報(bào)記者 許泳;PCI Geomatics推出新款遙感圖像處理產(chǎn)品[N];計(jì)算機(jī)世界;2009年

中國(guó)博士學(xué)位論文全文數(shù)據(jù)庫(kù) 前2條

1 董延華;超光譜遙感圖像處理關(guān)鍵技術(shù)研究[D];哈爾濱理工大學(xué);2006年

2 毛成林;復(fù)小波變換在遙感圖像處理方面的應(yīng)用研究[D];中國(guó)科學(xué)技術(shù)大學(xué);2013年

中國(guó)碩士學(xué)位論文全文數(shù)據(jù)庫(kù) 前10條

1 尹波;基于對(duì)象的遙感圖像處理平臺(tái)應(yīng)用研究[D];上海交通大學(xué);2008年

2 劉金亨;基于小波變換的遙感圖像處理研究[D];重慶大學(xué);2010年

3 陳燁;隨機(jī)共振在遙感圖像處理中的應(yīng)用研究[D];天津大學(xué);2009年

4 婁珊珊;基于偏微分方程的遙感圖像處理方法[D];大連海事大學(xué);2012年

5 謝永華;基于小波變換的遙感圖像處理的應(yīng)用研究[D];南京氣象學(xué)院;2002年

6 曹照清;遙感圖像處理的若干關(guān)鍵技術(shù)研究[D];南京航空航天大學(xué);2013年

7 陶靖琦;基于證據(jù)理論的無(wú)人機(jī)遙感圖像處理研究[D];湖北工業(yè)大學(xué);2012年

8 張德祥;方向小波變換在遙感圖像處理中的應(yīng)用研究[D];安徽大學(xué);2006年

9 陳超;可擴(kuò)展遙感圖像處理平臺(tái)的研究與開(kāi)發(fā)[D];中國(guó)地質(zhì)大學(xué)（北京）;2014年

10 宋衛(wèi)艷;RANSAC算法及其在遙感圖像處理中的應(yīng)用[D];華北電力大學(xué)（北京）;2011年

，

本文編號(hào)：626586