本文關(guān)鍵詞：分布式環(huán)境下MongoDB對(duì)激光點(diǎn)云數(shù)據(jù)的存儲(chǔ)和處理研究

  更多相關(guān)文章： 激光點(diǎn)云 MongoDB Sharding集群 范圍分片 哈希分片

【摘要】：近年來(lái),激光點(diǎn)云數(shù)據(jù)的應(yīng)用急劇增加,如何對(duì)其進(jìn)行高效存儲(chǔ)和快速處理成為當(dāng)前的一個(gè)重要研究方向。點(diǎn)云數(shù)據(jù)包含著豐富的地理信息,屬于空間數(shù)據(jù)范疇。傳統(tǒng)的關(guān)系型數(shù)據(jù)庫(kù)對(duì)海量空間數(shù)據(jù)的存儲(chǔ)和處理相對(duì)薄弱,分布式環(huán)境下非關(guān)系型數(shù)據(jù)庫(kù)的應(yīng)用為此提供了一個(gè)新的研究視角。目前,對(duì)海量空間數(shù)據(jù)的并行處理研究大部分是借助Hadoop集群中的MapReduce并行計(jì)算框架來(lái)完成的。因此,在非關(guān)系型數(shù)據(jù)庫(kù)MongoDB的高可用Sharding集群中,對(duì)激光點(diǎn)云數(shù)據(jù)進(jìn)行分布式存儲(chǔ)和并行處理具有重要的研究意義。本文首先對(duì)比幾種典型的非關(guān)系型數(shù)據(jù)庫(kù),指出MongoDB對(duì)空間數(shù)據(jù)的存儲(chǔ)優(yōu)勢(shì),深入分析MongoDB數(shù)據(jù)庫(kù)的基本結(jié)構(gòu)、Sharding集群的工作原理和在副本集中采用Bully算法實(shí)現(xiàn)的選舉機(jī)制。然后,在上述理論基礎(chǔ)和技術(shù)支持下,設(shè)計(jì)結(jié)合副本集的高可用Sharding集群總體架構(gòu),并從文件配置和分片配置兩個(gè)階段詳細(xì)說(shuō)明了集群的搭建過(guò)程。最后,在Sharding集群中對(duì)激光點(diǎn)云數(shù)據(jù)進(jìn)行范圍分片和哈希分片存儲(chǔ)、geoNear空間查詢(xún)、未排序和排序的Map Reduce運(yùn)算對(duì)比實(shí)驗(yàn),以及集群的容災(zāi)和負(fù)載平衡測(cè)試。本研究的獨(dú)到之處在于:(1)搭建結(jié)合副本集的MongoDB高可用Sharding集群;(2)選取哈希分片(MongoDB2.4以上的版本開(kāi)始支持)和范圍分片進(jìn)行激光點(diǎn)云數(shù)據(jù)的分布式存儲(chǔ)和geoNear空間查詢(xún)對(duì)比實(shí)驗(yàn);(3)對(duì)MongoDB中空間索引使用的GeoHash算法進(jìn)行基于Hilbert空間填充曲線(xiàn)的改進(jìn);(4)利用MongoDB自帶的MapReduce框架進(jìn)行激光點(diǎn)云數(shù)據(jù)的并行處理實(shí)驗(yàn),并通過(guò)排序?qū)崿F(xiàn)MapReduce并行運(yùn)算的優(yōu)化。上述實(shí)驗(yàn)取得的結(jié)論如下:(1)哈希分片保證激光點(diǎn)云數(shù)據(jù)在集群中各個(gè)節(jié)點(diǎn)分布基本均勻,而范圍分片導(dǎo)致數(shù)據(jù)分布不均;(2)空間查詢(xún)效率與激光點(diǎn)云數(shù)據(jù)的分布情況密切相關(guān),在數(shù)據(jù)量較大的情況下,范圍分片的查詢(xún)效率優(yōu)于哈希分片;(3)對(duì)激光點(diǎn)云數(shù)據(jù)進(jìn)行排序可以在一定程度上提高M(jìn)apReduce并行運(yùn)算的效率。本文搭建的MongoDB高可用Sharding集群具有易擴(kuò)展、自動(dòng)數(shù)據(jù)備份、故障轉(zhuǎn)移和恢復(fù)等功能,在此分布式環(huán)境下,對(duì)激光點(diǎn)云數(shù)據(jù)進(jìn)行分布式存儲(chǔ)和并行處理的研究,在一定程度上為空間數(shù)據(jù)平臺(tái)的建設(shè)提供了支撐,對(duì)于數(shù)字城市的發(fā)展具有促進(jìn)作用。
【關(guān)鍵詞】：激光點(diǎn)云 MongoDB Sharding集群 范圍分片 哈希分片
【學(xué)位授予單位】：北京工業(yè)大學(xué)
【學(xué)位級(jí)別】：碩士
【學(xué)位授予年份】：2016
【分類(lèi)號(hào)】：TP311.13
【目錄】：

• 摘要4-5
• Abstract5-9
• 第1章 緒論9-15
• 1.1 選題背景及研究意義9-10
• 1.2 國(guó)內(nèi)外研究現(xiàn)狀10-12
• 1.2.1 國(guó)內(nèi)研究現(xiàn)狀10-11
• 1.2.2 國(guó)外研究現(xiàn)狀11-12
• 1.3 論文的研究?jī)?nèi)容12
• 1.4 論文的組織結(jié)構(gòu)12-15
• 第2章 空間數(shù)據(jù)的分布式存儲(chǔ)和并行處相關(guān)技術(shù)15-29
• 2.1 分布式存儲(chǔ)技術(shù)15-21
• 2.1.1 分布式數(shù)據(jù)庫(kù)系統(tǒng)15-16
• 2.1.2 關(guān)系型和非關(guān)系型數(shù)據(jù)庫(kù)技術(shù)的差異16-17
• 2.1.3 非關(guān)系型數(shù)據(jù)庫(kù)17-19
• 2.1.4 MongoDB數(shù)據(jù)庫(kù)19-21
• 2.2 MongoDB的Sharding集群21-24
• 2.2.1 MongoDB的Sharding集群21-22
• 2.2.2 MongoDB的副本集22-24
• 2.3 并行處理技術(shù)24-27
• 2.3.1 空間查詢(xún)25
• 2.3.2 MapReduce計(jì)算模型25-27
• 2.4 本章小結(jié)27-29
• 第3章 高可用Sharding集群的搭建29-39
• 3.1 Sharding集群總體架構(gòu)29-30
• 3.2 Sharding集群的搭建30-38
• 3.2.1 Sharding集群的文件配置30-34
• 3.2.2 Sharding集群的分片配置34-38
• 3.3 本章小結(jié)38-39
• 第4章 激光點(diǎn)云數(shù)據(jù)的分布式存儲(chǔ)39-43
• 4.1 激光點(diǎn)云數(shù)據(jù)概述39
• 4.2 分片存儲(chǔ)測(cè)試39-41
• 4.2.1 范圍分片存儲(chǔ)40
• 4.2.2 哈希分片存儲(chǔ)40-41
• 4.2.3 范圍分片和哈希分片存儲(chǔ)對(duì)比實(shí)驗(yàn)41
• 4.3 Sharding集群的性能測(cè)試41-42
• 4.3.1 容災(zāi)測(cè)試41-42
• 4.3.2 負(fù)載平衡測(cè)試42
• 4.4 本章小結(jié)42-43
• 第5章 GeoHash算法的研究及其改進(jìn)43-51
• 5.1 GeoHash算法研究43-48
• 5.1.1 GeoHash編碼原理43-45
• 5.1.2 空間填充曲線(xiàn)45-48
• 5.2 基于Hilbert曲線(xiàn)的GeoHash算法改進(jìn)48-50
• 5.3 本章小結(jié)50-51
• 第6章 激光點(diǎn)云數(shù)據(jù)的并行處理實(shí)驗(yàn)51-57
• 6.1 激光點(diǎn)云數(shù)據(jù)的空間查詢(xún)51-53
• 6.1.1 MongoDB的空間查詢(xún)51-52
• 6.1.2 激光點(diǎn)云數(shù)據(jù)的geoNear查詢(xún)實(shí)驗(yàn)52-53
• 6.2 激光點(diǎn)云數(shù)據(jù)的MapReduce運(yùn)算53-56
• 6.2.1 MongoDB的MapReduce計(jì)算框架53-55
• 6.2.2 激光點(diǎn)云數(shù)據(jù)的MapReduce運(yùn)算實(shí)驗(yàn)55-56
• 6.3 本章小結(jié)56-57
• 結(jié)論57-59
• 參考文獻(xiàn)59-63
• 攻讀碩士學(xué)位期間發(fā)表的學(xué)術(shù)論文63-65
• 致謝65

，

本文編號(hào)：1014830