隨著全球氣候變暖,森林碳儲量成為目前十分受關注的問題。森林生物量是估算森林碳儲量的重要參數(shù),不僅是碳循環(huán)的標志,更是森林生態(tài)系統(tǒng)評價的重要指標。森林郁閉度同樣作為森林生態(tài)資源調查中的主要參數(shù)之一,也是碳循環(huán)中的重要因子,與生物量有著密切的關系,通過遙感影像反演有效得到郁閉度的值可以更精確的實現(xiàn)生物量的反演。但是隨著遙感大數(shù)據(jù)的發(fā)展,遙感影像處理的復雜度和數(shù)據(jù)量也在增加,因此為了實現(xiàn)遙感影像的高效處理,本文將Spark并行計算框架應用于遙感影像的并行處理中,以帽兒山老山施業(yè)區(qū)為數(shù)據(jù)源,提出了基于Spark的并行反演算法,將基于郁閉度的生物量反演模型與之集成完成了生物量的并行反演。本文主要的研究內容如下:（1）針對遙感影像數(shù)據(jù)量大,在并行反演過程中反復讀取、存儲數(shù)據(jù)造成時效性低的問題,本文在遙感影像預處理后建立了遙感影像金字塔。在并行反演過程中,可以直接從金字塔模型中快速提取信息。同時,針對本文數(shù)據(jù)類型,提出了一種針對遙感影像數(shù)據(jù)和影像瓦片采用不同數(shù)據(jù)庫分而治之的存儲方式。將原始遙感影像和并行反演的處理過程和結果保存在分布式文件系統(tǒng)HDFS中。影像金字塔瓦片的生成和金字塔模型構建過程采用列... 

【文章來源】：東北林業(yè)大學黑龍江省 211工程院校 教育部直屬院校

【文章頁數(shù)】：74 頁

【學位級別】：碩士

【部分圖文】：

圖２－４?ｙａｍ－ｃｌｕｓｔｅｒ運行模式??ｙａｍ－ｃｌｉｅｎｔ?模式和?ｙａｍ－ｃｌｕｓｔｅｒ?差別不大，ｙａｍ－ｃｌｉｅｎｔ?的?Ｄｒｉｖｅｒ?運行在?Ｃｌｉｅｎｔ?上

以使用Ｓｐａｒｋ來驗證并解決問題。??（５）通用性強??面對多元化、多形式的海量數(shù)據(jù)，Ｓｐａｒｋ提供了可以用于文件批處理、交互式查詢??（Ｓｐａｒｋ?ＳＱＬ）?＿、實時流處理（Ｓｐａｒｋ?Ｓｔｒｅａｍｉｎｇ＿）、機器學習（Ｓｐａｒｋ?ＭＬｌｉｂ）和圖計??算（ＳｐａｒｋＧｒａｐｈＸ＾）的并行計算框架。??２．２．２?Ｓｐａｒｋ的生態(tài)系統(tǒng)??Ｓｐａｒｋ?ＳＱＬ、Ｓｐａｒｋ?Ｓｔｒｅａｍｉｎｇ、Ｓｐａｒｋ?ＭＬｌｉｂ?和?Ｓｐａｒｋ?ＧｒａｐｈＸ?組成了?Ｓｐａｒｋ?的生態(tài)系??統(tǒng)，如圖２－５所示。ＡＭＰ?Ｌａｂ將此生態(tài)系統(tǒng)命名為大數(shù)據(jù)分析堆棧。簡稱為ＢＤＡＳ。??Ｉ?！??ｃ?，?ＭＬｌｉｂ?？?，?ｖ??Ｓｐａｒｋ?ＳＱＬ?＾ａｒ．?（ｍａｃｈｉｎｅ?，?叩?ｉ、??Ｓｔｒｅａｍ，ｎ§?ｌｃａｍｍｇ）?化＿）??Ａｐａｃｈｅ?Ｓｐａｒｋ??ｌ?＇?．．．?．．．．．????：．．．．．．Ｉ??ｆ?本地?）?獨立?ｉ?ｊ??運＆模式運行￡式Ｅｅ２?ＭｅｓＧＳ?ＹＡＲＮ??圖２－５?Ｓｐａｒｋ的生態(tài)系統(tǒng)??－１２－??

Ｄ或者ＲＤＤ的擴展來完成相應的運算的。在Ｓｐａｒｋ中數(shù)據(jù)處??理的關鍵點就是如何將數(shù)據(jù)轉化為ＲＤＤ。從邏輯上來看，ＲＤＤ中的每一個分區(qū)也對應??著一個相應的ｂｌｏｃｋ。ＲＤＤ的具體操作分為轉化（Ｔｒａｎｓｆｏｒｍａｔｉｏｎ）操作和行動（Ａｃｔｉｏｎ）??兩種。在進行轉化的過程中，就是由一個ＲＤＤ經(jīng)過執(zhí)行生成一個新的ＲＤＤ。但是??ＲＤＤ由于惰性，并不會真的被執(zhí)行，只有當ＲＤＤ執(zhí)行Ａｃｔｉｏｎ操作的時候，才會觸發(fā)并??執(zhí)行。??ＲＤＤ在Ｓｐａｒｋ中的運行流程主要分為以下三步，具體流程如圖２－７所示：??ＲＤＤ?Ｏｂｊｅｃｔｓ?ＤＡＧＳｃｈｅｄｕｌｅｒ?ＴａｓｋＳｃｈｅｄｕｌｅｒ?Ｗｏｒｋｅｒ??ＤＡＧ?－ｌａｓｋＳｃｔ；?ｍａｎａｇｅｒ?）??：．．?一．．．．．．．丨一??／?＼?￣?￣??ｒｄｄｌ?．ｊｏｉｎ（ｒｄｄ２）??ｇｒｏｕｐＢｙ（?）?ｓｐｌｉｔ?ｇｒａｐｈ?ｉｎｔｏ?ｌａｕｎｃｈ?ｔａｓｋｓ?ｖｉａ?ｅｘｅｃｕｔｅ?ｔａｓｋｓ??ｑ?ｓｔａｇｅｓ?ｏｆ?ｔａｓｋｓ?ｃｌｕｓｔｅｒ?ｍａｎａｇｅｒ??ｓｕｂｍｉｔ?ｅａｃｈ?ｒｅｔｒｙ?ｆａｉｌｅｄ?ｏｒ?ｓｔｏｒｅ?ａｎｄ?ｓｅｒｖｅ??ｓｔａｇｅ?ａｓ?ｒｅａｄｙ?ｓｔｒａｇｇｌｉｎｇ?ｔａｓｋｓ?ｂｌｏｃｋｓ??ａｇｎｏｓｔｉｃ?ｔｏ?ｓｔａｇｅ?ｄｏｅｓｎ＇ｔ?ｋｎｏｗ??ｏｐｅｒａｔｏｒｓ！?ｆａｉｌｅｄ?ａｂｏｕｔ?ｓｔａｇｅｓ??圖２－７?ＲＤＤ在Ｓｐａｒｋ中的運行流程??（１）創(chuàng)建ＲＤＤ是Ｓｐａｒｋ處理數(shù)據(jù)時的第一步。ＲＤＤ的創(chuàng)建方式主要有通過Ｓｃａｌａ??并行化集合創(chuàng)建、從內存中直接構造和從ＨＤＦＳ等分布


本文編號：3403825