【摘要】：云計(jì)算是當(dāng)前計(jì)算機(jī)領(lǐng)域研究的主要方向,它整合了網(wǎng)格計(jì)算、并行計(jì)算、分布式計(jì)算等先進(jìn)技術(shù),被眾多行業(yè)廣泛應(yīng)用。云計(jì)算通過(guò)整合資源構(gòu)成一個(gè)資源池,向用戶提供服務(wù),具有高可用性和擴(kuò)展性。Hadoop是近幾年發(fā)展較好的云計(jì)算平臺(tái),一個(gè)并行處理數(shù)據(jù)的成熟的開(kāi)源軟件框架,憑借其高可靠性、可擴(kuò)展性受到各行業(yè)的青睞。先進(jìn)的衛(wèi)星和傳感器不斷投入使用,遙感數(shù)據(jù)類型不斷豐富,使得空間數(shù)據(jù)規(guī)模呈指數(shù)型增長(zhǎng)。此外,復(fù)雜度越來(lái)越高的算法和模型也逐漸應(yīng)用于遙感數(shù)據(jù)處理中,遙感數(shù)據(jù)處理越來(lái)越呈現(xiàn)出數(shù)據(jù)密集和計(jì)算密集的特征。而現(xiàn)階段大多數(shù)遙感處理軟件是基于單機(jī)系統(tǒng)的,在計(jì)算速度和效率上都受到很大的制約,無(wú)法滿足生態(tài)環(huán)境的動(dòng)態(tài)監(jiān)測(cè)與實(shí)時(shí)評(píng)估的需求。將云計(jì)算技術(shù)應(yīng)用于生態(tài)評(píng)價(jià),進(jìn)行并行化的遙感影像處理和生態(tài)評(píng)估關(guān)鍵參數(shù)的并行化遙感反演,可以實(shí)現(xiàn)森林的實(shí)時(shí)動(dòng)態(tài)評(píng)估。本論文采用開(kāi)源云計(jì)算平臺(tái)Hadoop中的核心組件,對(duì)帽兒山研究區(qū)的生態(tài)因子進(jìn)行并行化反演,實(shí)現(xiàn)基于云計(jì)算的森林生態(tài)系統(tǒng)服務(wù)功能的評(píng)估,驗(yàn)證將云計(jì)算應(yīng)用到森林生態(tài)系統(tǒng)服務(wù)功能評(píng)估中的高效性。本文主要研究?jī)?nèi)容如下:(1)基于HDFS文件系統(tǒng)和HBase數(shù)據(jù)庫(kù)的數(shù)據(jù)存儲(chǔ)。本論文中將遙感影像數(shù)據(jù)存儲(chǔ)在HDFS中,指定影像在HDFS中的存儲(chǔ)策略;對(duì)HDFS的文件存儲(chǔ)結(jié)構(gòu)進(jìn)行設(shè)計(jì),數(shù)據(jù)包括原始數(shù)據(jù)、預(yù)處理數(shù)據(jù)、遙感反演結(jié)果數(shù)據(jù)等。HBase是一種面向列的非結(jié)構(gòu)化數(shù)據(jù)庫(kù),論文中將處理中的影像塊信息數(shù)據(jù)和元數(shù)據(jù)存儲(chǔ)于HBase中。HDFS不能直接支持遙感影像的處理,但是提供了可擴(kuò)展的API,本論文針對(duì)遙感影像的存儲(chǔ)和處理問(wèn)題,在Hadoop的基礎(chǔ)上對(duì)相關(guān)功能模塊進(jìn)行了擴(kuò)展。(2)基于MapReduce并行框架的遙感參數(shù)反演方法。大多數(shù)遙感處理軟件是基于單機(jī)系統(tǒng)的,在計(jì)算速度和效率上都受到很大的制約。本論文搭建基于Hadoop的集群環(huán)境,將遙感參數(shù)反演的模型算法集成到基于MapReduce的并行框架中,構(gòu)建基于MapReduce并行框架的生態(tài)因子遙感反演算法,從而提高影像處理效率。(3)植被凈初級(jí)生產(chǎn)力的遙感估算模型Cloud-ICASA。在固碳釋氧服務(wù)功能的評(píng)估中,難以直接獲取的參數(shù)是林分凈生產(chǎn)力(NPP),NPP直接反映了植被在自然環(huán)境條件下的生產(chǎn)能力,在全球變化及碳平衡中扮演著重要的作用。本論文對(duì)CASA模型的關(guān)鍵參數(shù)進(jìn)行修正和優(yōu)化,提出了適用于帽兒山的Cloud-ICASA模型。(4)林分蒸散量的遙感估算模型Cloud-ISEBAL。在涵養(yǎng)水源服務(wù)功能的評(píng)估中,主要的參數(shù)是林分的蒸散量。蒸散量是地下水和地表水相互轉(zhuǎn)化的中間環(huán)節(jié),影響著森林生態(tài)系統(tǒng)的水循環(huán)和碳循環(huán)過(guò)程。隨著遙感技術(shù)的發(fā)展,應(yīng)用遙感方法進(jìn)行地表能量之間的反演成為現(xiàn)實(shí)。本論文在SEBAL的基礎(chǔ)上,結(jié)合高分影像特點(diǎn),提出了基于高分影像的Cloud-ISEBAL模型,實(shí)現(xiàn)對(duì)林分蒸散量的遙感反演。
【圖文】：

數(shù)據(jù)挖掘工作；淘寶搭建Ｈａｄｏｏｐ框架存儲(chǔ)和處理交易數(shù)據(jù)。隨著Ｈａｄｏｏｐ的使用越來(lái)逡逑越多，基于Ｈａｄｏｏｐ的開(kāi)發(fā)工具也越來(lái)越多，簡(jiǎn)單介紹一些工具，以便對(duì)Ｈａｄｏｏｐ有更逡逑直觀和清晰的了解。Ｈａｄｏｏｐ項(xiàng)目的體系結(jié)構(gòu)如圖２－１所示，核心組件表見(jiàn)表２－１。逡逑Ｐｉｇ邐Ｈｉｖｅ邐ＨＢａｓｅ逡逑ＭａｐＲｅｄｕｃｅ邐ＨＤＦＳ邐Ｚｏｏｋｅｅｐｅｒ逡逑Ｈａｄｏｏｐ核心組件逡逑圖２－１邋Ｈａｄｏｏｐ的體系結(jié)構(gòu)逡逑表２－１邋Ｈａｄｏｏｐ核心組件逡逑內(nèi)容邐功能描述逡逑ｕ邋＾￣￣拉，、如仲邐包括分布式文件系統(tǒng)ＨＤＦＳ和分布式并行編程框架ＭａｐＲｅｄｕｃｅ兩部分逡逑Ｈａｄｏｏｐ核七、纟且件邐Ｈａｄｏｏｐ核心組件Ｈａｄｏｏｐ開(kāi)源項(xiàng)目子項(xiàng)目逡逑分布式文件系統(tǒng)，隱藏下層負(fù)載均衡、冗余復(fù)制等細(xì)節(jié)逡逑＾邐對(duì)上層程序提供一個(gè)統(tǒng)一的文件系統(tǒng)ＡＰ丨接口逡逑，，邐分布式并行編程框架：Ｍａｐ把輸入Ｉｎｐｕｔ分解成中間Ｋｅｙ－Ｖａｌｕｅ對(duì)逡逑ａｐ邋ｅ邋ｕｃｅ邐Ｒｅｄｕｃｅ邋把邋Ｋｅｙ－ｖａｌｕｅ邋對(duì)合成輸出邋Ｏｕｔｐｕｔ逡逑ＨＢａｓｅ邐一個(gè)大型的分布式數(shù)據(jù)庫(kù)，不是關(guān)系型數(shù)據(jù)庫(kù)，用來(lái)存儲(chǔ)結(jié)構(gòu)化的數(shù)據(jù)逡逑一個(gè)數(shù)據(jù)倉(cāng)庫(kù)架構(gòu)，可以將結(jié)構(gòu)化的數(shù)據(jù)文件映射成一張數(shù)據(jù)庫(kù)表逡逑并提供完整的ＳＱＬ查詢功能逡逑大規(guī)模數(shù)據(jù)分析平臺(tái)，為復(fù)雜的海量數(shù)據(jù)運(yùn)算提供簡(jiǎn)單的操作和編程接口逡逑ｇ邐將類ＳＱＬ數(shù)據(jù)請(qǐng)求轉(zhuǎn)化為一系列經(jīng)過(guò)處理的ＭａｐＲｅｄｕｃｅ運(yùn)算逡逑７邐ｖ邐針對(duì)大型分布式系統(tǒng)的可靠的協(xié)調(diào)系統(tǒng)

數(shù)據(jù)挖掘工作；淘寶搭建Ｈａｄｏｏｐ框架存儲(chǔ)和處理交易數(shù)據(jù)。隨著Ｈａｄｏｏｐ的使用越來(lái)逡逑越多，基于Ｈａｄｏｏｐ的開(kāi)發(fā)工具也越來(lái)越多，簡(jiǎn)單介紹一些工具，以便對(duì)Ｈａｄｏｏｐ有更逡逑直觀和清晰的了解。Ｈａｄｏｏｐ項(xiàng)目的體系結(jié)構(gòu)如圖２－１所示，核心組件表見(jiàn)表２－１。逡逑Ｐｉｇ邐Ｈｉｖｅ邐ＨＢａｓｅ逡逑ＭａｐＲｅｄｕｃｅ邐ＨＤＦＳ邐Ｚｏｏｋｅｅｐｅｒ逡逑Ｈａｄｏｏｐ核心組件逡逑圖２－１邋Ｈａｄｏｏｐ的體系結(jié)構(gòu)逡逑表２－１邋Ｈａｄｏｏｐ核心組件逡逑內(nèi)容邐功能描述逡逑ｕ邋＾￣￣拉，、如仲邐包括分布式文件系統(tǒng)ＨＤＦＳ和分布式并行編程框架ＭａｐＲｅｄｕｃｅ兩部分逡逑Ｈａｄｏｏｐ核七、纟且件邐Ｈａｄｏｏｐ核心組件Ｈａｄｏｏｐ開(kāi)源項(xiàng)目子項(xiàng)目逡逑分布式文件系統(tǒng)，隱藏下層負(fù)載均衡、冗余復(fù)制等細(xì)節(jié)逡逑＾邐對(duì)上層程序提供一個(gè)統(tǒng)一的文件系統(tǒng)ＡＰ丨接口逡逑，邐分布式并行編程框架：Ｍａｐ把輸入Ｉｎｐｕｔ分解成中間Ｋｅｙ－Ｖａｌｕｅ對(duì)逡逑ａｐ邋ｅ邋ｕｃｅ邐Ｒｅｄｕｃｅ邋把邋Ｋｅｙ－ｖａｌｕｅ邋對(duì)合成輸出邋Ｏｕｔｐｕｔ逡逑ＨＢａｓｅ邐一個(gè)大型的分布式數(shù)據(jù)庫(kù)，不是關(guān)系型數(shù)據(jù)庫(kù)，用來(lái)存儲(chǔ)結(jié)構(gòu)化的數(shù)據(jù)逡逑一個(gè)數(shù)據(jù)倉(cāng)庫(kù)架構(gòu)，可以將結(jié)構(gòu)化的數(shù)據(jù)文件映射成一張數(shù)據(jù)庫(kù)表逡逑并提供完整的ＳＱＬ查詢功能逡逑大規(guī)模數(shù)據(jù)分析平臺(tái)，為復(fù)雜的海量數(shù)據(jù)運(yùn)算提供簡(jiǎn)單的操作和編程接口逡逑ｇ邐將類ＳＱＬ數(shù)據(jù)請(qǐng)求轉(zhuǎn)化為一系列經(jīng)過(guò)處理的ＭａｐＲｅｄｕｃｅ運(yùn)算逡逑７邐ｖ邐針對(duì)大型分布式系統(tǒng)的可靠的協(xié)調(diào)系統(tǒng)
【學(xué)位授予單位】：東北林業(yè)大學(xué)
【學(xué)位級(jí)別】：碩士
【學(xué)位授予年份】：2018
【分類號(hào)】：S718.5;S771.8

【參考文獻(xiàn)】

相關(guān)期刊論文 前10條

1 修珍珍;王斌;楊校生;余超;張龍;格日樂(lè)圖;;廟山塢自然保護(hù)區(qū)森林生態(tài)系統(tǒng)服務(wù)功能評(píng)估[J];南京林業(yè)大學(xué)學(xué)報(bào)(自然科學(xué)版);2015年04期

2 彭寧;劉忠山;周海波;;基于云計(jì)算的智能卡口系統(tǒng)研究[J];軟件導(dǎo)刊;2015年05期

3 赫高進(jìn);熊偉;陳犖;吳秋云;景寧;;基于MPI的大規(guī)模遙感影像金字塔并行構(gòu)建方法[J];地球信息科學(xué)學(xué)報(bào);2015年05期

4 舒昶;張林波;;基于GIS和遙感技術(shù)的生態(tài)系統(tǒng)服務(wù)價(jià)值評(píng)估研究[J];測(cè)繪與空間地理信息;2015年01期

5 王兵;;森林生態(tài)連清技術(shù)體系構(gòu)建與應(yīng)用[J];北京林業(yè)大學(xué)學(xué)報(bào);2015年01期

6 劉桂環(huán);董貴華;馬良;;英國(guó)國(guó)家生態(tài)系統(tǒng)評(píng)估及對(duì)我國(guó)的啟示[J];環(huán)境與可持續(xù)發(fā)展;2014年06期

7 仇偉濤;范家銘;李丹;;一種基于HBase的高效半結(jié)構(gòu)化數(shù)據(jù)查詢策略[J];福建電腦;2014年11期

8 宋維靜;劉鵬;王力哲;呂科;;遙感大數(shù)據(jù)的智能處理:現(xiàn)狀與挑戰(zhàn)[J];工程研究-跨學(xué)科視野中的工程;2014年03期

9 謝浩安;董紹彤;于濤;;云計(jì)算及其安全研究進(jìn)展綜述[J];硅谷;2014年15期

10 劉星光;董曉峰;王冰冰;;英國(guó)生態(tài)城鎮(zhèn)規(guī)劃內(nèi)容體系與特征分析——以三個(gè)典型生態(tài)城鎮(zhèn)規(guī)劃為例[J];城市發(fā)展研究;2014年06期

相關(guān)碩士學(xué)位論文 前8條

1 鄧玉林;基于hadoop大數(shù)據(jù)框架的個(gè)性化推薦系統(tǒng)研究與實(shí)現(xiàn)[D];電子科技大學(xué);2016年

2 陳志遠(yuǎn);基于文本分類的知識(shí)管理系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)[D];電子科技大學(xué);2014年

3 呂天然;基于MapReduce的可視化工作流遙感并行處理平臺(tái)及關(guān)鍵技術(shù)研究[D];河南大學(xué);2013年

4 張磊;基于云計(jì)算的網(wǎng)格化均值聚類算法的并行化研究[D];合肥工業(yè)大學(xué);2013年

5 付天新;基于MapReduce模型的生態(tài)遙感參數(shù)反演并行化方法與實(shí)現(xiàn)[D];蘭州交通大學(xué);2012年

6 王旭東;面向海量遙感影像數(shù)據(jù)的分布式文件系統(tǒng)管理技術(shù)研究[D];蘭州交通大學(xué);2012年

7 陳愛(ài)平;基于Hadoop的聚類算法并行化分析及應(yīng)用研究[D];電子科技大學(xué);2012年

8 曹潤(rùn)濤;基于Hadoop的移動(dòng)感知系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)[D];西安電子科技大學(xué);2012年

本文編號(hào)：2626436