本文關(guān)鍵詞：分布式并行環(huán)境下林地落界數(shù)據(jù)快速統(tǒng)計技術(shù)研究，，由筆耕文化傳播整理發(fā)布。

【摘要】：林地管理是森林資源管理的基礎(chǔ),國家為了進一步提升森林資源的整體監(jiān)測和管理水平,在《全國林地保護利用規(guī)劃綱要(2010-2020年)》的指導(dǎo)下,開展全國林地“一張圖”建設(shè)。其中整合了近期高分辨率遙感數(shù)據(jù)、林地落界數(shù)據(jù)、基礎(chǔ)地理數(shù)據(jù)以及林業(yè)相關(guān)數(shù)據(jù),形成了涉及各級(縣、省、國家)微觀或至宏觀管理與應(yīng)用需要的多尺度多業(yè)務(wù)類型的海量數(shù)據(jù),僅林地落界小班數(shù)據(jù)已達6738.88萬條。隨著林地數(shù)據(jù)呈指數(shù)增長,面臨體量如此巨大、數(shù)據(jù)類型繁多、高速變化、價值密度低的空間數(shù)據(jù),當前系統(tǒng)中采用的數(shù)據(jù)模型和統(tǒng)計技術(shù)對支持海量數(shù)據(jù)多維快速統(tǒng)計的局限性表現(xiàn)得越來越突出。因此本文在分布式并行環(huán)境下,對林地落界數(shù)據(jù)統(tǒng)計的數(shù)據(jù)模型和快速統(tǒng)計技術(shù)進行研究。本文針對林地“一張圖”系統(tǒng)中面臨的海量數(shù)據(jù)動態(tài)統(tǒng)計的問題,以多維數(shù)據(jù)模型、并行計算、數(shù)據(jù)挖掘等理論和技術(shù)為基礎(chǔ),通過對多維統(tǒng)計模型、并行數(shù)據(jù)優(yōu)化部署、并行統(tǒng)計計算、統(tǒng)計結(jié)果匯集與緩存管理這四個關(guān)鍵技術(shù)的研究,形成了一個高效、快速的森林資源數(shù)據(jù)統(tǒng)計技術(shù)體系,并通過設(shè)計實驗對相關(guān)技術(shù)點進行驗證,實驗結(jié)果表明文章提出的數(shù)據(jù)模型和技術(shù)適合林地落界數(shù)據(jù)多維動態(tài)統(tǒng)計的需求。本文所做研究如下:(1)林地落界統(tǒng)計應(yīng)用需求和數(shù)據(jù)特點分析,提出了分布式并行環(huán)境下林地落界快速統(tǒng)計技術(shù)體系,并對體系中涉及的多維統(tǒng)計模型、并行數(shù)據(jù)優(yōu)化部署、并行統(tǒng)計計算、統(tǒng)計結(jié)果匯集與緩存管理內(nèi)容給出了解決思路。(2)林地落界數(shù)據(jù)多維統(tǒng)計模型研究。通過對林地落界數(shù)據(jù)特點和統(tǒng)計尺度分析,建立基于星型模型的林地落界數(shù)據(jù)立方體,構(gòu)建因子組合模型,并在基礎(chǔ)上結(jié)合統(tǒng)計尺度,構(gòu)建因子組合統(tǒng)計模型,實現(xiàn)不同尺度下的林地落界數(shù)據(jù)多維屬性統(tǒng)計和空間統(tǒng)計。(3)林地落界數(shù)據(jù)優(yōu)化部署研究。通過對林地落界統(tǒng)計粒度的劃分與分配、索引體系研究,解決統(tǒng)計粒度在分布式并行環(huán)境下的管理問題。對林地落界統(tǒng)計任務(wù)的內(nèi)涵進行分析,確定把維表在各節(jié)點復(fù)制,對林地落界事實表進行劃分的數(shù)據(jù)劃分思路。結(jié)合應(yīng)用場景的特點,提出了基于Hilbert空間填充曲線的動態(tài)網(wǎng)格空間數(shù)據(jù)劃分算法,從而確定林地落界統(tǒng)計粒度的大小。在此基礎(chǔ)上,提出了基于任務(wù)量和圖著色理論的空間數(shù)據(jù)部署方案。并基于統(tǒng)計特征,提出了基于GTMPR-tree(Graphy-Coloring theory based Multi-tiers Parallel R-tree)的多層索引體系。并通過測試表明以縣為單位的空間數(shù)據(jù)粒度存儲單位更適合并行快速統(tǒng)計的需求,且通過變異系數(shù)(C.V)衡量通過任務(wù)量改進的基于圖著色的空間部署方案,結(jié)果表明改進的算法使得數(shù)據(jù)在各節(jié)點的分布更為均衡,均衡度提高了2倍多。(4)林地落界數(shù)據(jù)并行統(tǒng)計計算研究。通過給出統(tǒng)計任務(wù)粒度的大小,并行統(tǒng)計計算模型,以及提出基于GTMPR-tree的任務(wù)劃分模型,解決了統(tǒng)計任務(wù)資源調(diào)度的問題。(5)統(tǒng)計結(jié)果匯集和緩存管理研究。針對影響統(tǒng)計效率的統(tǒng)計結(jié)果和緩存,給出了基于靜態(tài)緩存表和動態(tài)語義緩存的二級緩存機構(gòu)和混合緩存管理策略,進一步提出了基于相關(guān)性分析的緩存優(yōu)化模型和基于評價機制的統(tǒng)計更新模型,來優(yōu)化統(tǒng)計緩存。通過實驗給出了潛在的有價值的因子組合。最后通過設(shè)計實驗,從整體性能上測試分布式并行環(huán)境下統(tǒng)計效率,實驗結(jié)果表明采用文中提出的關(guān)鍵技術(shù),統(tǒng)計性能得到了顯著的提升。
【關(guān)鍵詞】：多維統(tǒng)計模型 數(shù)據(jù)優(yōu)化部署 負載均衡 圖著色 并行統(tǒng)計計算 統(tǒng)計結(jié)果匯集與緩存管理
【學(xué)位授予單位】：中國林業(yè)科學(xué)研究院
【學(xué)位級別】：博士
【學(xué)位授予年份】：2015
【分類號】：S757;TP311.13
【目錄】：

• 摘要5-7
• Abstract7-19
• 第一章 緒論19-39
• 1.1 研究背景19-20
• 1.2 研究目的意義20-21
• 1.3 國內(nèi)外研究現(xiàn)狀21-35
• 1.3.1 森林資源統(tǒng)計現(xiàn)狀研究21-25
• 1.3.2 森林資源管理統(tǒng)計技術(shù)的研究現(xiàn)狀25-34
• 1.3.3 存在問題與分析34-35
• 1.4 研究目標與主要研究內(nèi)容35-36
• 1.4.1 研究目標35
• 1.4.2 主要研究內(nèi)容35-36
• 1.5 研究技術(shù)路線36-37
• 1.6 本文結(jié)構(gòu)與組織37-38
• 1.7 項目來源與經(jīng)費支持38-39
• 第二章 林地落界數(shù)據(jù)快速統(tǒng)計技術(shù)體系研究39-53
• 2.1 林地落界數(shù)據(jù)統(tǒng)計應(yīng)用需求分析39-40
• 2.2 林地落界數(shù)據(jù)特點分析40-47
• 2.2.1 林地落界數(shù)據(jù)管理特點分析41-43
• 2.2.2 因子的時間地域特點分析43
• 2.2.3 林地落界數(shù)據(jù)庫屬性因子分析43-44
• 2.2.4 林地落界數(shù)據(jù)統(tǒng)計因子模型分析44-47
• 2.3 構(gòu)建林地落界數(shù)據(jù)快速統(tǒng)計技術(shù)體系47-52
• 2.3.1 林地落界多維統(tǒng)計模型研究48-49
• 2.3.2 林地落界數(shù)據(jù)優(yōu)化部署研究49-50
• 2.3.3 林地落界數(shù)據(jù)并行統(tǒng)計計算與統(tǒng)計結(jié)果匯集研究50
• 2.3.4 構(gòu)建林地落界數(shù)據(jù)快速統(tǒng)計技術(shù)體系50-52
• 2.4 本章小結(jié)52-53
• 第三章 林地落界數(shù)據(jù)多維統(tǒng)計模型研究53-83
• 3.1 構(gòu)建林地落界多維數(shù)據(jù)模型53-61
• 3.1.1 林地落界數(shù)據(jù)的關(guān)鍵維度分析53-55
• 3.1.2 構(gòu)建基于數(shù)據(jù)立方體的林地落界多維數(shù)據(jù)模型55-61
• 3.2 構(gòu)建林地落界數(shù)據(jù)因子組合模型61-65
• 3.2.1 林地落界數(shù)據(jù)因子組合特點分析61-62
• 3.2.2 單因子模型的構(gòu)建62
• 3.2.3 雙因子組合模型的構(gòu)建62-63
• 3.2.4 多因子組合模型的構(gòu)建63-65
• 3.3 構(gòu)建林地落界數(shù)據(jù)多維統(tǒng)計模型65-81
• 3.3.1 林地落界數(shù)據(jù)統(tǒng)計尺度分析65
• 3.3.2 林地落界數(shù)據(jù)統(tǒng)計度量分析65-68
• 3.3.3 構(gòu)建基于統(tǒng)計單位的統(tǒng)計模型68-79
• 3.3.4 構(gòu)建基于空間查詢的統(tǒng)計模型79-81
• 3.4 本章小結(jié)81-83
• 第四章 林地落界數(shù)據(jù)優(yōu)化部署研究83-111
• 4.1 林地落界數(shù)據(jù)統(tǒng)計的并行性分析83-87
• 4.1.1 林地落界數(shù)據(jù)統(tǒng)計粒度內(nèi)涵分析83-85
• 4.1.2 林地落界數(shù)據(jù)統(tǒng)計任務(wù)的并行化過程85-87
• 4.2 林地落界統(tǒng)計數(shù)據(jù)粒度的劃分方法87-95
• 4.2.1 林地落界數(shù)據(jù)立方體存儲方式87-90
• 4.2.2 數(shù)據(jù)劃分建模過程90-92
• 4.2.3 基于動態(tài)網(wǎng)格和Hilbert曲線的數(shù)據(jù)劃分算法設(shè)計92-95
• 4.3 基于圖著色的林地落界統(tǒng)計數(shù)據(jù)粒度部署方法95-105
• 4.3.1 林地落界數(shù)據(jù)統(tǒng)計數(shù)據(jù)粒度部署的問題描述95-96
• 4.3.2 基于負載均衡和圖著色的林地落界統(tǒng)計數(shù)據(jù)粒度部署建模96-99
• 4.3.3 基于負載均衡和圖著色的統(tǒng)計數(shù)據(jù)粒度部署的算法設(shè)計99-104
• 4.3.4 基于圖頂點的多副本數(shù)據(jù)粒度部署及算法設(shè)計104-105
• 4.4 基于GTMPR-tree的多層索引結(jié)構(gòu)設(shè)計105-109
• 4.4.1 構(gòu)建基于GTMPR-tree的多層索引體系105-107
• 4.4.2 基于a R-tree的索引結(jié)構(gòu)設(shè)計107-109
• 4.5 本章小結(jié)109-111
• 第五章 林地落界數(shù)據(jù)并行統(tǒng)計計算與統(tǒng)計結(jié)果匯集研究111-130
• 5.1 林地落界數(shù)據(jù)并行統(tǒng)計計算研究111-116
• 5.1.1 統(tǒng)計任務(wù)的多層次并行統(tǒng)計計算體系111-113
• 5.1.2 林地落界統(tǒng)計任務(wù)分配計算模型113-114
• 5.1.3 基于GTMPR-tree的林地落界統(tǒng)計任務(wù)分配方法114-116
• 5.2 統(tǒng)計結(jié)果匯集研究116-119
• 5.2.1 統(tǒng)計結(jié)果分類116
• 5.2.2 統(tǒng)計結(jié)果匯集過程116-119
• 5.3 統(tǒng)計結(jié)果緩存研究119-129
• 5.3.1 林地落界數(shù)據(jù)的緩存機制119-121
• 5.3.2 林地落界數(shù)據(jù)統(tǒng)計緩存的對象分類121-122
• 5.3.3 基于二級緩存的林地落界數(shù)據(jù)的緩存結(jié)構(gòu)設(shè)計122-124
• 5.3.4 基于靜態(tài)和動態(tài)緩存混合的林地落界數(shù)據(jù)緩存管理策略124
• 5.3.5 基于相關(guān)性分析的因子組合優(yōu)化研究124-127
• 5.3.6 基于評分機制的統(tǒng)計緩存更新研究127-129
• 5.4 本章小結(jié)129-130
• 第六章 技術(shù)實現(xiàn)與應(yīng)用驗證130-149
• 6.1 實驗數(shù)據(jù)130-132
• 6.2 實驗環(huán)境132-134
• 6.3 技術(shù)驗證與結(jié)果分析134-148
• 6.3.1 建立林地落界數(shù)據(jù)立方體135-138
• 6.3.2 林地落界數(shù)據(jù)優(yōu)化部署技術(shù)測試與結(jié)果分析138-145
• 6.3.3 林地落界數(shù)據(jù)快速統(tǒng)計技術(shù)測試與結(jié)果分析145-148
• 6.4 本章小結(jié)148-149
• 第七章 結(jié)論與展望149-152
• 7.1 本文總結(jié)149-150
• 7.2 創(chuàng)新點150-151
• 7.3 展望151-152
• 參考文獻152-163
• 附錄163-175
• 在讀期間的學(xué)術(shù)研究175-176
• 致謝176

【參考文獻】

中國期刊全文數(shù)據(jù)庫 前2條

1 鄒江濤;;我國林業(yè)統(tǒng)計指標體系研究進展[J];安徽農(nóng)學(xué)通報;2006年13期

2 黃建文;遙感及GIS技術(shù)在森林資源信息更新中的應(yīng)用[J];林業(yè)資源管理;2000年02期

中國碩士學(xué)位論文全文數(shù)據(jù)庫 前1條

1 章劍濤;并行數(shù)據(jù)倉庫環(huán)境下基于B~+樹的分布式索引研究[D];燕山大學(xué);2010年

  本文關(guān)鍵詞：分布式并行環(huán)境下林地落界數(shù)據(jù)快速統(tǒng)計技術(shù)研究，由筆耕文化傳播整理發(fā)布。

本文編號：412626