本文關鍵詞：面向海量空間數(shù)據(jù)并行高效處理的存儲模式設計與研究，，由筆耕文化傳播整理發(fā)布。

【摘要】：隨著現(xiàn)代地理空間信息技術的快速發(fā)展,帶來了空間數(shù)據(jù)集規(guī)模的急劇膨脹。面對如此海量和復雜的空間數(shù)據(jù)集,迫切需要一種能夠對其進行高效的組織、存儲、處理與管理的技術解決方案。Hadoop提供了海量的數(shù)據(jù)存儲能力和支持并行計算的編程模型,為實現(xiàn)海量空間數(shù)據(jù)的存儲與計算一體化提供強大的平臺支持。本文基于開源Hadoop軟件框架對海量空間數(shù)據(jù)的高效存儲管理開展了以下研究:(1)深入分析了當前海量空間數(shù)據(jù)的存儲管理方法,總結了每種方法的優(yōu)缺點,為下一步研究提供堅實的理論依據(jù)。詳細介紹了Hadoop架構體系的三大核心技術,分布式文件系統(tǒng)HDFS,并行編程模型MapReduce和分布式數(shù)據(jù)庫HBase。(2)深入研究了HDFS的文件存儲機制,結合簡單矢量數(shù)據(jù)結構,設計了適合在HDFS中存儲矢量數(shù)據(jù)的存儲模式,在此基礎上實現(xiàn)最基本的矢量空間操作。針對傳統(tǒng)射線法不適合批量點包含判斷的問題,同時為避免射線法的大量求交運算,對射線法進行改進,并通過MapReduce并行編程模型加以實現(xiàn)。最后,利用分布式數(shù)據(jù)庫HBase管理經(jīng)MapReduce編程模型處理輸出的矢量數(shù)據(jù)。(3)通過比較現(xiàn)有Hadoop小文件存儲解決方法,設計了一種基于MapFile序列文件技術的海量柵格數(shù)據(jù)存儲模式,實現(xiàn)海量柵格數(shù)據(jù)在HDFS的高效存儲,并利用HBase數(shù)據(jù)庫表管理海量柵格數(shù)據(jù),提高了海量柵格數(shù)據(jù)的存儲與讀寫效率。為實現(xiàn)圖像的并行聚類,通過MapReduce編程模型對K均值聚類算法進行并行化設計,縮短了聚類時間。(4)搭建Hadoop計算平臺,開展了基于分布式集群的海量點包含性測試、海量柵格數(shù)據(jù)存儲性能測試、圖像聚類等實驗,證明本文設計的存儲模式能夠為海量空間數(shù)據(jù)的高效處理提供支持。
【關鍵詞】：海量空間數(shù)據(jù) Hadoop 集群 并行計算 K均值
【學位授予單位】：電子科技大學
【學位級別】：碩士
【學位授予年份】：2014
【分類號】：P208;P209
【目錄】：

• 摘要5-6
• ABSTRACT6-9
• 第一章 緒論9-14
• 1.1 研究背景及意義9-10
• 1.2 國內(nèi)外研究現(xiàn)狀10-12
• 1.3 論文研究內(nèi)容12
• 1.4 論文總體結構12-14
• 第二章 Hadoop總體架構分析14-30
• 2.1 分布式文件系統(tǒng)HDFS14-19
• 2.1.1 HDFS設計目標14-15
• 2.1.2 HDFS的體系結構分析15-16
• 2.1.3 HDFS可靠性機制16-19
• 2.2 并行編程模型MapReduce19-22
• 2.2.1 MapReduce函數(shù)設計19-20
• 2.2.2 MapReduce體系結構20-21
• 2.2.3 MapReduce執(zhí)行流程21-22
• 2.3 分布式數(shù)據(jù)庫HBase22-28
• 2.3.1 HBase體系架構22-26
• 2.3.2 HBase數(shù)據(jù)存儲模型26-28
• 2.4 Hadoop相關技術28-29
• 2.5 本章小結29-30
• 第三章 基于Hadoop的矢量數(shù)據(jù)管理30-44
• 3.1 矢量數(shù)據(jù)概述30-31
• 3.1.1 矢量數(shù)據(jù)結構30-31
• 3.1.2 矢量數(shù)據(jù)特點31
• 3.2 基于HDFS的矢量數(shù)據(jù)存儲模式31-34
• 3.2.1 矢量數(shù)據(jù)模型31-32
• 3.2.2 矢量數(shù)據(jù)key/value存儲模式設計32-34
• 3.3 基于MapReduce的矢量空間操作34-36
• 3.3.1 MapReduce矢量數(shù)據(jù)處理流程34-35
• 3.3.2 基本空間操作算法35-36
• 3.3.3 基于MapReduce空間操作實現(xiàn)36
• 3.4 一種判斷海量點在多邊形內(nèi)的改進射線法36-42
• 3.4.1 傳統(tǒng)射線法37-38
• 3.4.2 海量點在多邊形內(nèi)的改進射線法38-42
• 3.4.3 基于MapReduce的算法設計42
• 3.5 HBase矢量數(shù)據(jù)管理42-43
• 3.6 本章小結43-44
• 第四章 基于Hadoop的海量柵格數(shù)據(jù)管理44-56
• 4.1 柵格數(shù)據(jù)概述44-46
• 4.1.1 柵格數(shù)據(jù)結構44-45
• 4.1.2 編碼方式45
• 4.1.3 主要特點45-46
• 4.2 基于HDFS的海量柵格數(shù)據(jù)存儲模式46-50
• 4.2.1 小文件問題46
• 4.2.2 小文件處理技術46-48
• 4.2.3 基于MapFile海量柵格數(shù)據(jù)存儲模式設計48-50
• 4.3 基于MapReduce的并行K均值圖像聚類50-55
• 4.3.1 K均值聚類算法分析50-51
• 4.3.2 基于MapReduce的K均值圖像聚類流程51-52
• 4.3.3 K均值圖像聚類設計與實現(xiàn)52-55
• 4.4 HBase海量柵格數(shù)據(jù)管理55
• 4.5 本章小結55-56
• 第五章 實驗與結果分析56-67
• 5.1 實驗環(huán)境56-57
• 5.1.1 節(jié)點配置56
• 5.1.2 Hadoop集群配置56-57
• 5.2 結果分析57-66
• 5.3 本章小結66-67
• 第六章 總結與展望67-69
• 6.1 論文總結67-68
• 6.2 展望68-69
• 致謝69-70
• 參考文獻70-73
• 攻讀研究生學位期間取得的成果73-74

【參考文獻】

中國期刊全文數(shù)據(jù)庫 前2條

1 陳濤;肖儂;劉芳;付長勝;;基于聚類和一致Hash的數(shù)據(jù)布局算法[J];軟件學報;2010年12期

2 周婷;張君瑛;羅成;;基于Hadoop的K-means聚類算法的實現(xiàn)[J];計算機技術與發(fā)展;2013年07期

  本文關鍵詞：面向海量空間數(shù)據(jù)并行高效處理的存儲模式設計與研究，由筆耕文化傳播整理發(fā)布。

本文編號：261203