本文關(guān)鍵詞：基于Hadoop平臺的CCD表觀輻亮度定標算法的研究與實現(xiàn)，由筆耕文化傳播整理發(fā)布。

【摘要】：隨著空間遙感技術(shù)的快速成長,獲取遙感影像數(shù)據(jù)的方式發(fā)生了很大的變革,并且伴隨數(shù)據(jù)精確度的不斷提高,數(shù)據(jù)量也不斷巨增。獲取的遙感數(shù)據(jù)需要經(jīng)過合適的加工處理,才能應(yīng)用到其他的行業(yè)。因此對數(shù)據(jù)的處理速度和效率有了很高的要求,同時數(shù)據(jù)也要求高效的組織和管理。云計算技術(shù)是時下最流行的技術(shù),能夠解決很多復雜的問題,因此云計算能夠提供一種處理上述問題的有效解決方案。Hadoop是一款云計算平臺,是目前最流行的一種分布式框架,不僅能夠解決海量遙感數(shù)據(jù)分布式存儲的問題,也能夠提供一種遙感算法分布式處理的方案。GDAL(Geospatial Data Abstraction Library)是一個開源柵格空間數(shù)據(jù)轉(zhuǎn)換庫,能夠支持各種格式的遙感影像文件的讀寫。現(xiàn)有的遙感產(chǎn)品算法主要是根據(jù)應(yīng)用需求對遙感數(shù)據(jù)進行處理和加工,這些算法一般都是運行在單機或者傳統(tǒng)網(wǎng)絡(luò)環(huán)境下,算法運行效率較低。本文主要研究和實現(xiàn)了基于Hadoop平臺的CCD表觀輻亮度定標算法。以此作為基礎(chǔ)對具有高效的云平臺下遙感產(chǎn)品算法的設(shè)計與實現(xiàn)進行探索。本文根據(jù)GDAL強大的柵格處理能力讀取圖像數(shù)據(jù),并依據(jù)Hadoop的分布式存儲和計算能力,通過編寫Map Reduce程序?qū)崿F(xiàn)遙感基礎(chǔ)產(chǎn)品算法—CCD表觀輻亮度定標(CCDTOAL)。本文的主要工作和貢獻包括以下幾個方面:1.給出面向遙感產(chǎn)品處理的Hadoop集群的完整安裝過程,以及在安裝過程中應(yīng)注意的關(guān)鍵問題和解決方案,并給出集群運行結(jié)果圖。2.分析Map Reduce編程模式的處理流程,結(jié)合GDAL技術(shù),自定義了讀取圖像數(shù)據(jù)的數(shù)據(jù)類型,實現(xiàn)遙感圖像數(shù)據(jù)的讀取操作。3.深入研究CCDTOAL算法,在多機并行處理環(huán)境下和Hadoop平臺下,分別給出了該算法的設(shè)計思想并實現(xiàn)了該算法。4.比較CCDTOAL算法在多機并行處理和Hadoop平臺兩種環(huán)境下的運行效率。實驗結(jié)果表明,相比多機并行環(huán)境,Hadoop平臺處理遙感產(chǎn)品算法占有一定的優(yōu)勢。
【關(guān)鍵詞】：Hadoop平臺 GDAL CCDTOAL 并行處理
【學位授予單位】：河南大學
【學位級別】：碩士
【學位授予年份】：2016
【分類號】：TP393.09;TP751
【目錄】：

• 摘要4-5
• ABSTRACT5-9
• 1 緒論9-13
• 1.1 研究背景及意義9-10
• 1.2 國內(nèi)外研究現(xiàn)狀10-11
• 1.2.1 遙感數(shù)據(jù)處理方法的研究10
• 1.2.2 Hadoop的應(yīng)用10-11
• 1.3 論文主要內(nèi)容11-12
• 1.4 論文組織結(jié)構(gòu)12
• 1.5 本章小結(jié)12-13
• 2 相關(guān)技術(shù)簡介13-23
• 2.1 CCD表觀輻亮度定標算法描述13-14
• 2.2 M-CCDTOAL算法概述14-17
• 2.2.1 工作原理14-16
• 2.2.2 算法實現(xiàn)16-17
• 2.3 Hadoop平臺概述17-20
• 2.3.1 Hadoop平臺的特點與優(yōu)勢17
• 2.3.2 HDFS簡介17-18
• 2.3.3 MapReduce簡介18-20
• 2.4 Ganglia簡介20
• 2.5 GDAL簡介20-21
• 2.6 SSH21
• 2.7 本章小結(jié)21-23
• 3 H-CCDTOAL運行平臺的搭建技術(shù)23-33
• 3.1 集群環(huán)境搭建23-28
• 3.1.1 環(huán)境準備23-24
• 3.1.2 搭建步驟24-26
• 3.1.3 集群運行26-28
• 3.2 圖像數(shù)據(jù)類型設(shè)計28-30
• 3.3 數(shù)據(jù)存儲格式設(shè)計30-31
• 3.4 本章小結(jié)31-33
• 4 H-CCDTOAL算法的設(shè)計與實現(xiàn)33-45
• 4.1 開發(fā)環(huán)境33
• 4.2 工作原理33-35
• 4.3 中間數(shù)據(jù)類型格式設(shè)計35
• 4.4 讀取背景參數(shù)Map類的設(shè)計35-36
• 4.5 讀取圖像數(shù)據(jù)的map類設(shè)計36-37
• 4.6 Reducer類的設(shè)計37-38
• 4.7 算法實現(xiàn)38-39
• 4.8 測試與結(jié)果分析39-42
• 4.8.1 測試數(shù)據(jù)39
• 4.8.2 測試方法39-40
• 4.8.3 測試結(jié)果40-42
• 4.8.4 結(jié)果分析42
• 4.9 本章小結(jié)42-45
• 5 總結(jié)及展望45-47
• 參考文獻47-49
• 致謝49-51
• 攻讀學位期間參加的項目51-52

【相似文獻】

中國期刊全文數(shù)據(jù)庫 前10條

1 李書富，孟超;用于CCD信號的高速數(shù)據(jù)采集系統(tǒng)[J];中國儀器儀表;1994年05期

2 申福成;;讓CCD壞點起死回生[J];電腦迷;2009年11期

3 ;電子轟擊式 CCD 像管及其技術(shù)處理[J];大連理工大學學報;1997年S2期

4 張華，陳強，金建敏，，潘際鑾;基于焊縫CCD圖象模式特征的焊縫軌跡識別[J];機械工程學報;1996年06期

5 馬榮貴,宋宏勛;多路CCD位移傳感器用于路面縱斷面檢測研究[J];光子學報;2001年03期

6 何清芳;王青梅;郭利樂;;基于CCD掃描技術(shù)探測降水現(xiàn)象的研究[J];氣象水文海洋儀器;2013年02期

7 培初;;CCD攝象器件及其在空間的應(yīng)用[J];國外空間動態(tài);1981年10期

8 程鵬飛;顧明劍;王模昌;;CCD視頻信號處理電路設(shè)計[J];科學技術(shù)與工程;2006年24期

9 沈會良;牟同升;王明剛;楊冬曉;李志能;;基于CCD的數(shù)字光處理光源特性測量[J];浙江大學學報(工學版);2007年08期

10 張衛(wèi)東,陳國鈞,張煜盛;閉式循環(huán)柴油機(CCD)監(jiān)控系統(tǒng)設(shè)計[J];華中科技大學學報(自然科學版);2003年04期

中國重要會議論文全文數(shù)據(jù)庫 前10條

1 嚴博;劉纏牢;;基于CCD的激光粒度儀設(shè)計技術(shù)研究[A];2011西部光子學學術(shù)會議論文摘要集[C];2011年

2 田會;倪晉平;馬衛(wèi)紅;;CCD交匯式連發(fā)彈丸密集度測試方法研究[A];第十四屆全國光學測試學術(shù)討論會論文（摘要集）[C];2012年

3 彭青玉;;云南天文臺1米望遠鏡CCD視場幾何扭曲的測定[A];中國天文學會2011年學術(shù)年會手冊[C];2011年

4 吳國棟;馮f杰;;三線陣測繪相機CCD像面的裝調(diào)方法[A];2009年全國測繪儀器綜合學術(shù)年會論文集[C];2009年

5 王宏義;董文娟;黃宗福;陳曾平;;基于DSP的嵌入式CCD天文圖像處理系統(tǒng)[A];2007年光電探測與制導技術(shù)的發(fā)展與應(yīng)用研討會論文集[C];2007年

6 張坤;;CCD片上放大器的設(shè)計與仿真[A];2004全國圖像傳感器技術(shù)學術(shù)交流會議論文集[C];2004年

7 蔣本和;張洪哲;金穎妮;紀淑波;靳文瑞;董楠;陳文毅;翟瑞仁;;CCD用于血沉等參量的自動測量[A];第十屆全國紅外加熱暨紅外醫(yī)學發(fā)展研討會論文及論文摘要集[C];2005年

8 馬世幫;楊紅;郭羽;姜昌錄;康登魁;;平行光管中位置等效的目標靶和CCD的調(diào)校方法研究[A];第十四屆全國光學測試學術(shù)討論會論文（摘要集）[C];2012年

9 劉慶民;趙玲;戴偉鋒;;基于CCD的滾珠螺母幾何參數(shù)測量[A];2009年先進光學技術(shù)及其應(yīng)用研討會論文集（上冊）[C];2009年

10 劉昌林;李仁豪;唐紹凡;周旭東;龍飛;;512×512元高幀速可見光CCD[A];2004全國圖像傳感器技術(shù)學術(shù)交流會議論文集[C];2004年

中國重要報紙全文數(shù)據(jù)庫 前10條

1 參勝利;讓CCD壞點起死回生[N];中國電腦教育報;2004年

2 佟潔;CCD如何走出創(chuàng)新路？[N];中國經(jīng)濟導報;2006年

3 李思;CCD能否走出創(chuàng)新路？[N];西部時報;2006年

4 王竹青;如何檢測數(shù)碼相機CCD壞點[N];中國計算機報;2003年

5 楊特;如何測試數(shù)碼相機CCD壞點[N];中國計算機報;2004年

6 山旭 郭璐;處理CCD事件 索尼被指存在“國家差別”[N];華夏時報;2005年

7 計算機世界實驗室 李獻;愛普生掃描儀主推超薄CCD[N];計算機世界;2007年

8 福建 柳堅;掃描儀CCD[N];電腦報;2004年

9 馬振貴;索尼“CCD問題”懸疑[N];中國電腦教育報;2006年

10 朱磊;火眼金睛辨別數(shù)碼相機的CCD壞點[N];電腦報;2004年

中國博士學位論文全文數(shù)據(jù)庫 前6條

1 徐_g;機器視覺中CCD自然圖像的降噪和分割研究[D];電子科技大學;2003年

2 柯才軍;微透鏡陣列的設(shè)計、制作及與CCD的集成技術(shù)[D];華中科技大學;2005年

3 雷劍波;基于CCD的激光再制造熔池溫度場檢測研究[D];天津工業(yè)大學;2007年

4 焦宏偉;基于成像激光雷達與雙CCD復合的三維精細成像技術(shù)研究[D];國防科學技術(shù)大學;2012年

5 李哲林;基于CCD的長軸類高溫大鍛件三維尺寸測量的研究[D];華南理工大學;2013年

6 楊彥佶;CCD型X射線探測器性能研究[D];吉林大學;2014年

中國碩士學位論文全文數(shù)據(jù)庫 前10條

1 黃超凡;主機和從機模式下的CCD工業(yè)相機的設(shè)計與研究[D];浙江大學;2015年

2 李俊;基于CCD的焦爐測溫技術(shù)研究[D];合肥工業(yè)大學;2015年

3 邱亞楠;基于CCD線陣導航的縮微車智能駕駛系統(tǒng)設(shè)計[D];東北大學;2014年

4 傅鑫;掃描儀CCD模組鏡頭的設(shè)計研究[D];南京理工大學;2016年

5 朱鵬波;基于Camera LINK接口的CCD損傷檢測系統(tǒng)的研究[D];長春理工大學;2016年

6 周洪生;CCD-Ⅰ型平面光柵電弧直讀發(fā)射光譜儀在地礦實驗室的應(yīng)用與優(yōu)化[D];吉林大學;2016年

7 李敏;用于微光CCD的關(guān)聯(lián)成像軟件開發(fā)[D];西安電子科技大學;2015年

8 謝倩倩;基于Hadoop平臺的CCD表觀輻亮度定標算法的研究與實現(xiàn)[D];河南大學;2016年

9 張震;可見光CCD的激光輻照效應(yīng)實驗研究[D];國防科學技術(shù)大學;2005年

10 王清泉;基于CCD的濁度檢測技術(shù)研究與應(yīng)用[D];長沙理工大學;2012年

  本文關(guān)鍵詞：基于Hadoop平臺的CCD表觀輻亮度定標算法的研究與實現(xiàn)，由筆耕文化傳播整理發(fā)布。

本文編號：293049