本文關(guān)鍵詞：分布式環(huán)境下MongoDB對激光點云數(shù)據(jù)的存儲和處理研究

  更多相關(guān)文章： 激光點云 MongoDB Sharding集群 范圍分片 哈希分片

【摘要】：近年來,激光點云數(shù)據(jù)的應(yīng)用急劇增加,如何對其進行高效存儲和快速處理成為當(dāng)前的一個重要研究方向。點云數(shù)據(jù)包含著豐富的地理信息,屬于空間數(shù)據(jù)范疇。傳統(tǒng)的關(guān)系型數(shù)據(jù)庫對海量空間數(shù)據(jù)的存儲和處理相對薄弱,分布式環(huán)境下非關(guān)系型數(shù)據(jù)庫的應(yīng)用為此提供了一個新的研究視角。目前,對海量空間數(shù)據(jù)的并行處理研究大部分是借助Hadoop集群中的MapReduce并行計算框架來完成的。因此,在非關(guān)系型數(shù)據(jù)庫MongoDB的高可用Sharding集群中,對激光點云數(shù)據(jù)進行分布式存儲和并行處理具有重要的研究意義。本文首先對比幾種典型的非關(guān)系型數(shù)據(jù)庫,指出MongoDB對空間數(shù)據(jù)的存儲優(yōu)勢,深入分析MongoDB數(shù)據(jù)庫的基本結(jié)構(gòu)、Sharding集群的工作原理和在副本集中采用Bully算法實現(xiàn)的選舉機制。然后,在上述理論基礎(chǔ)和技術(shù)支持下,設(shè)計結(jié)合副本集的高可用Sharding集群總體架構(gòu),并從文件配置和分片配置兩個階段詳細說明了集群的搭建過程。最后,在Sharding集群中對激光點云數(shù)據(jù)進行范圍分片和哈希分片存儲、geoNear空間查詢、未排序和排序的Map Reduce運算對比實驗,以及集群的容災(zāi)和負載平衡測試。本研究的獨到之處在于:(1)搭建結(jié)合副本集的MongoDB高可用Sharding集群;(2)選取哈希分片(MongoDB2.4以上的版本開始支持)和范圍分片進行激光點云數(shù)據(jù)的分布式存儲和geoNear空間查詢對比實驗;(3)對MongoDB中空間索引使用的GeoHash算法進行基于Hilbert空間填充曲線的改進;(4)利用MongoDB自帶的MapReduce框架進行激光點云數(shù)據(jù)的并行處理實驗,并通過排序?qū)崿F(xiàn)MapReduce并行運算的優(yōu)化。上述實驗取得的結(jié)論如下:(1)哈希分片保證激光點云數(shù)據(jù)在集群中各個節(jié)點分布基本均勻,而范圍分片導(dǎo)致數(shù)據(jù)分布不均;(2)空間查詢效率與激光點云數(shù)據(jù)的分布情況密切相關(guān),在數(shù)據(jù)量較大的情況下,范圍分片的查詢效率優(yōu)于哈希分片;(3)對激光點云數(shù)據(jù)進行排序可以在一定程度上提高MapReduce并行運算的效率。本文搭建的MongoDB高可用Sharding集群具有易擴展、自動數(shù)據(jù)備份、故障轉(zhuǎn)移和恢復(fù)等功能,在此分布式環(huán)境下,對激光點云數(shù)據(jù)進行分布式存儲和并行處理的研究,在一定程度上為空間數(shù)據(jù)平臺的建設(shè)提供了支撐,對于數(shù)字城市的發(fā)展具有促進作用。
【關(guān)鍵詞】：激光點云 MongoDB Sharding集群 范圍分片 哈希分片
【學(xué)位授予單位】：北京工業(yè)大學(xué)
【學(xué)位級別】：碩士
【學(xué)位授予年份】：2016
【分類號】：TP311.13
【目錄】：

• 摘要4-5
• Abstract5-9
• 第1章 緒論9-15
• 1.1 選題背景及研究意義9-10
• 1.2 國內(nèi)外研究現(xiàn)狀10-12
• 1.2.1 國內(nèi)研究現(xiàn)狀10-11
• 1.2.2 國外研究現(xiàn)狀11-12
• 1.3 論文的研究內(nèi)容12
• 1.4 論文的組織結(jié)構(gòu)12-15
• 第2章 空間數(shù)據(jù)的分布式存儲和并行處相關(guān)技術(shù)15-29
• 2.1 分布式存儲技術(shù)15-21
• 2.1.1 分布式數(shù)據(jù)庫系統(tǒng)15-16
• 2.1.2 關(guān)系型和非關(guān)系型數(shù)據(jù)庫技術(shù)的差異16-17
• 2.1.3 非關(guān)系型數(shù)據(jù)庫17-19
• 2.1.4 MongoDB數(shù)據(jù)庫19-21
• 2.2 MongoDB的Sharding集群21-24
• 2.2.1 MongoDB的Sharding集群21-22
• 2.2.2 MongoDB的副本集22-24
• 2.3 并行處理技術(shù)24-27
• 2.3.1 空間查詢25
• 2.3.2 MapReduce計算模型25-27
• 2.4 本章小結(jié)27-29
• 第3章 高可用Sharding集群的搭建29-39
• 3.1 Sharding集群總體架構(gòu)29-30
• 3.2 Sharding集群的搭建30-38
• 3.2.1 Sharding集群的文件配置30-34
• 3.2.2 Sharding集群的分片配置34-38
• 3.3 本章小結(jié)38-39
• 第4章 激光點云數(shù)據(jù)的分布式存儲39-43
• 4.1 激光點云數(shù)據(jù)概述39
• 4.2 分片存儲測試39-41
• 4.2.1 范圍分片存儲40
• 4.2.2 哈希分片存儲40-41
• 4.2.3 范圍分片和哈希分片存儲對比實驗41
• 4.3 Sharding集群的性能測試41-42
• 4.3.1 容災(zāi)測試41-42
• 4.3.2 負載平衡測試42
• 4.4 本章小結(jié)42-43
• 第5章 GeoHash算法的研究及其改進43-51
• 5.1 GeoHash算法研究43-48
• 5.1.1 GeoHash編碼原理43-45
• 5.1.2 空間填充曲線45-48
• 5.2 基于Hilbert曲線的GeoHash算法改進48-50
• 5.3 本章小結(jié)50-51
• 第6章 激光點云數(shù)據(jù)的并行處理實驗51-57
• 6.1 激光點云數(shù)據(jù)的空間查詢51-53
• 6.1.1 MongoDB的空間查詢51-52
• 6.1.2 激光點云數(shù)據(jù)的geoNear查詢實驗52-53
• 6.2 激光點云數(shù)據(jù)的MapReduce運算53-56
• 6.2.1 MongoDB的MapReduce計算框架53-55
• 6.2.2 激光點云數(shù)據(jù)的MapReduce運算實驗55-56
• 6.3 本章小結(jié)56-57
• 結(jié)論57-59
• 參考文獻59-63
• 攻讀碩士學(xué)位期間發(fā)表的學(xué)術(shù)論文63-65
• 致謝65

，

本文編號：1014830