本文關(guān)鍵詞：基于Hadoop分布式計(jì)算的遙感產(chǎn)品生產(chǎn)系統(tǒng)

  更多相關(guān)文章： Hadoop Map Reduce 分布式計(jì)算 遙感專題產(chǎn)品

【摘要】：遙感技術(shù)是對地觀測的重要手段,種類繁多的生態(tài)環(huán)境遙感產(chǎn)品從不同角度反應(yīng)了區(qū)域和全球范圍內(nèi)森林、草原、水等重要資源的狀態(tài)信息,使得有效掌握全球生態(tài)環(huán)境的變化趨勢及其相應(yīng)影響成為可能。當(dāng)前世界許多國家均發(fā)射了數(shù)量不等的對地觀測遙感衛(wèi)星,如美國的Landsat、Terra、Aqua,法國的Spot等等,這些衛(wèi)星每天將產(chǎn)生海量的對地觀測數(shù)據(jù),為生產(chǎn)全球范圍的生態(tài)環(huán)境遙感專題產(chǎn)品提供了豐富的數(shù)據(jù)源。然而,面對海量的遙感數(shù)據(jù)以及復(fù)雜的專題產(chǎn)品生產(chǎn)算法模型,傳統(tǒng)的串行生產(chǎn)方式由于較低的運(yùn)行效率,已逐漸不能滿足對大規(guī)模遙感數(shù)據(jù)及時(shí)、高效處理的要求。針對此問題,論文利用Hadoop在分布式計(jì)算方面的優(yōu)勢,結(jié)合生態(tài)環(huán)境遙感專題產(chǎn)品的生產(chǎn)需求,構(gòu)建了一套具有較高生產(chǎn)效率的遙感產(chǎn)品生產(chǎn)系統(tǒng),實(shí)現(xiàn)快速、按需生產(chǎn)生態(tài)環(huán)境遙感專題產(chǎn)品。論文的主要研究內(nèi)容包括:(1)論文以全球環(huán)境監(jiān)測指數(shù)和草原干旱指數(shù)產(chǎn)品為例,使用MapReduce編程模型設(shè)計(jì)并實(shí)現(xiàn)了產(chǎn)品并行生產(chǎn)算法。結(jié)合MapReduce模型的工作原理和具體生產(chǎn)算法的特點(diǎn),研究并設(shè)計(jì)了MapReduce模型的輸入鍵、輸入值和分區(qū)函數(shù)。針對具有多個(gè)MapReduce任務(wù)的復(fù)雜生產(chǎn)作業(yè),使用工作流技術(shù)解決各MapReduce模型間的依賴關(guān)系,確保專題產(chǎn)品的高效生產(chǎn)。(2)基于構(gòu)建的生態(tài)環(huán)境專題產(chǎn)品MapReduce生產(chǎn)模型,使用單節(jié)點(diǎn)和Hadoop集群以串行和分布式計(jì)算的方式生產(chǎn)了全球范圍內(nèi)的相應(yīng)產(chǎn)品,對比分析了串并行生產(chǎn)方式之間的效率差異,以及在不同計(jì)算節(jié)點(diǎn)情況下Hadoop集群的運(yùn)算性能。(3)基于Hadoop分布式計(jì)算平臺,結(jié)合Java 2 Platform Enterprise Edition(J2EE)、WebGIS等技術(shù),設(shè)計(jì)并實(shí)現(xiàn)了全球生態(tài)環(huán)境遙感專題產(chǎn)品生產(chǎn)與服務(wù)系統(tǒng)。針對用戶對于專題產(chǎn)品的生產(chǎn)需求,系統(tǒng)以接受訂單的方式,利用Hadoop集群快速生產(chǎn)出符合用戶要求的專題產(chǎn)品。系統(tǒng)圍繞Hadoop生態(tài)環(huán)境專題產(chǎn)品生產(chǎn),實(shí)現(xiàn)了從訂單管理、系統(tǒng)管理、數(shù)據(jù)管理到最終專題產(chǎn)品生產(chǎn)的一個(gè)較為完整的生產(chǎn)環(huán)境。與傳統(tǒng)桌面型遙感產(chǎn)品生產(chǎn)系統(tǒng)相比,系統(tǒng)不僅有效提高了遙感專題產(chǎn)品的生產(chǎn)效率,同時(shí)也為生態(tài)環(huán)境領(lǐng)域相關(guān)研究人員提供一種方便、高效獲取專題產(chǎn)品的方式。
【關(guān)鍵詞】：Hadoop Map Reduce 分布式計(jì)算 遙感專題產(chǎn)品
【學(xué)位授予單位】：電子科技大學(xué)
【學(xué)位級別】：碩士
【學(xué)位授予年份】：2016
【分類號】：P237
【目錄】：

• 摘要5-6
• ABSTRACT6-11
• 第一章 緒論11-18
• 1.1 研究目的及意義11-12
• 1.2 國內(nèi)外研究現(xiàn)狀12-16
• 1.2.1 遙感產(chǎn)品生產(chǎn)系統(tǒng)研究現(xiàn)狀12-13
• 1.2.2 高性能計(jì)算在遙感中的研究現(xiàn)狀13-16
• 1.3 技術(shù)路線16-17
• 1.4 論文組織結(jié)構(gòu)17-18
• 第二章 遙感專題產(chǎn)品生產(chǎn)系統(tǒng)技術(shù)基礎(chǔ)18-32
• 2.1 Hadoop框架介紹18-26
• 2.1.1 Hadoop框架18-20
• 2.1.2 MapReduce編程模型20-23
• 2.1.3 HDFS并行文件系統(tǒng)23-26
• 2.2 Hadoop工作流介紹26-27
• 2.2.1 Hadoop工作流26
• 2.2.2 Azkaban工作流引擎26-27
• 2.3 J2EE平臺介紹27-29
• 2.3.1 J2EE平臺簡介27-28
• 2.3.2 J2EE標(biāo)準(zhǔn)規(guī)范28-29
• 2.4 WebGIS介紹29-31
• 2.4.1 WebGIS特點(diǎn)30
• 2.4.2 WebGIS主要功能30-31
• 2.5 本章小結(jié)31-32
• 第三章 生態(tài)環(huán)境遙感專題產(chǎn)品算法實(shí)現(xiàn)及串并行程序性能分析32-48
• 3.1 生態(tài)環(huán)境專題產(chǎn)品介紹32-37
• 3.1.1 全球環(huán)境監(jiān)測指數(shù)32
• 3.1.2 草原干旱指數(shù)32-37
• 3.2 MapReduce程序配置37-38
• 3.2.1 MapReduce輸入值37
• 3.2.2 MapReduce輸入鍵37-38
• 3.2.3 MapReduce分區(qū)函數(shù)38
• 3.3 生態(tài)環(huán)境專題產(chǎn)品生產(chǎn)算法MapReduce實(shí)現(xiàn)38-41
• 3.3.1 全球環(huán)境監(jiān)測指數(shù)產(chǎn)品生產(chǎn)算法MapReduce實(shí)現(xiàn)38-39
• 3.3.2 草原干旱指數(shù)產(chǎn)品生產(chǎn)算法MapReduce實(shí)現(xiàn)39-41
• 3.4 實(shí)驗(yàn)結(jié)果分析41-47
• 3.4.1 實(shí)驗(yàn)環(huán)境41-42
• 3.4.2 分布式程序性能評價(jià)42-43
• 3.4.3 全球環(huán)境監(jiān)測指數(shù)產(chǎn)品生產(chǎn)串并行程序結(jié)果分析43-44
• 3.4.4 草原干旱指數(shù)產(chǎn)品生產(chǎn)串并行程序結(jié)果分析44-47
• 3.5 本章小結(jié)47-48
• 第四章 生態(tài)環(huán)境遙感專題產(chǎn)品生產(chǎn)系統(tǒng)設(shè)計(jì)48-60
• 4.1 系統(tǒng)需求分析48-51
• 4.1.1 系統(tǒng)流程分析48-49
• 4.1.2 系統(tǒng)用戶分析49
• 4.1.3 系統(tǒng)數(shù)據(jù)需求分析49-50
• 4.1.4 系統(tǒng)安全分析50
• 4.1.5 功能需求分析50-51
• 4.2 系統(tǒng)設(shè)計(jì)原則51-52
• 4.2.1 實(shí)用性原則51
• 4.2.2 先進(jìn)性原則51
• 4.2.3 可擴(kuò)展性原則51
• 4.2.4 系統(tǒng)安全性原則51
• 4.2.5 系統(tǒng)易用性和友好性原則51-52
• 4.3 系統(tǒng)體系結(jié)構(gòu)52-54
• 4.3.1 系統(tǒng)物理架構(gòu)52-53
• 4.3.2 系統(tǒng)總體架構(gòu)53-54
• 4.4 系統(tǒng)數(shù)據(jù)庫設(shè)計(jì)54-58
• 4.4.1 生產(chǎn)數(shù)據(jù)庫設(shè)計(jì)54-57
• 4.4.2 遙感基礎(chǔ)產(chǎn)品數(shù)據(jù)庫設(shè)計(jì)57-58
• 4.5 系統(tǒng)功能設(shè)計(jì)58-59
• 4.6 系統(tǒng)運(yùn)行環(huán)境59
• 4.6.1 硬件平臺59
• 4.6.2 軟件平臺59
• 4.6.3 開發(fā)環(huán)境59
• 4.7 本章小結(jié)59-60
• 第五章 生態(tài)環(huán)境遙感專題產(chǎn)品生產(chǎn)系統(tǒng)功能實(shí)現(xiàn)60-73
• 5.1 用戶管理模塊60-61
• 5.1.1 用戶注冊60
• 5.1.2 用戶登錄60-61
• 5.1.3 密碼修改61
• 5.2 訂單管理模塊61-63
• 5.2.1 訂單提交61-62
• 5.2.2 歷史訂單管理62-63
• 5.3 系統(tǒng)管理模塊63-65
• 5.3.1 系統(tǒng)操作日志63-64
• 5.3.2 用戶訪問日志64-65
• 5.3.3 郵件通知65
• 5.4 Hadoop生產(chǎn)管理模塊65-66
• 5.4.1 Hadoop生產(chǎn)任務(wù)調(diào)用65
• 5.4.2 Hadoop生產(chǎn)任務(wù)進(jìn)度監(jiān)控65-66
• 5.5 基礎(chǔ)數(shù)據(jù)管理模塊66-68
• 5.5.1 基礎(chǔ)數(shù)據(jù)上傳66-67
• 5.5.2 HDFS文件系統(tǒng)管理67-68
• 5.6 產(chǎn)品管理模塊68-70
• 5.6.1 產(chǎn)品檢索68
• 5.6.2 產(chǎn)品在線預(yù)覽及下載68-70
• 5.7 系統(tǒng)功能測試70-72
• 5.8 本章小結(jié)72-73
• 第六章 總結(jié)與展望73-75
• 6.1 總結(jié)73
• 6.2 展望73-75
• 致謝75-76
• 參考文獻(xiàn)76-81
• 附錄81-86
• 攻讀碩士學(xué)位期間取得的成果86-87

【參考文獻(xiàn)】

中國期刊全文數(shù)據(jù)庫 前10條

1 赫高進(jìn);熊偉;陳犖;吳秋云;景寧;;基于MPI的大規(guī)模遙感影像金字塔并行構(gòu)建方法[J];地球信息科學(xué)學(xué)報(bào);2015年05期

2 胡昌苗;張微;馮崢;唐娉;;Landsat TM/ETM+與HJ-1A/B CCD數(shù)據(jù)自動相對輻射處理及精度驗(yàn)證[J];遙感學(xué)報(bào);2014年02期

3 方留楊;王密;李德仁;;CPU和GPU協(xié)同處理的光學(xué)衛(wèi)星遙感影像正射校正方法[J];測繪學(xué)報(bào);2013年05期

4 陳吉榮;樂嘉錦;;基于Hadoop生態(tài)系統(tǒng)的大數(shù)據(jù)解決方案綜述[J];計(jì)算機(jī)工程與科學(xué);2013年10期

5 楊海平;沈占鋒;駱劍承;吳煒;;海量遙感數(shù)據(jù)的高性能地學(xué)計(jì)算應(yīng)用與發(fā)展分析[J];地球信息科學(xué)學(xué)報(bào);2013年01期

6 付天新;劉正軍;閆浩文;;基于MapReduce模型的生物量遙感并行反演方法研究[J];干旱區(qū)資源與環(huán)境;2013年01期

7 許丞;劉洪;譚良;;Hadoop云平臺的一種新的任務(wù)調(diào)度和監(jiān)控機(jī)制[J];計(jì)算機(jī)科學(xué);2013年01期

8 賀廣均;李虎;李家國;于濤;孟慶巖;王蕊;;生態(tài)環(huán)境遙感產(chǎn)品生產(chǎn)分系統(tǒng)架構(gòu)設(shè)計(jì)與實(shí)現(xiàn)[J];微計(jì)算機(jī)信息;2012年09期

9 汪秀兵;張廣弟;耿襯;;基于SuperMap iServer的贛州市旅游信息服務(wù)發(fā)布研究[J];測繪標(biāo)準(zhǔn)化;2012年02期

10 劉雙娜;周濤;舒陽;戴銘;魏林艷;張鑫;;基于遙感降尺度估算中國森林生物量的空間分布[J];生態(tài)學(xué)報(bào);2012年08期

中國博士學(xué)位論文全文數(shù)據(jù)庫 前2條

1 修佳鵬;海量衛(wèi)星遙感數(shù)據(jù)參量產(chǎn)品自動化生產(chǎn)系統(tǒng)中關(guān)鍵問題的研究[D];北京郵電大學(xué);2014年

2 康俊鋒;云計(jì)算環(huán)境下高分辨率遙感影像存儲與高效管理技術(shù)研究[D];浙江大學(xué);2011年

中國碩士學(xué)位論文全文數(shù)據(jù)庫 前1條

1 宋麗君;基于網(wǎng)格的遙感產(chǎn)品生產(chǎn)服務(wù)研究與設(shè)計(jì)[D];河南大學(xué);2013年

，

本文編號：638599