本文關(guān)鍵詞：一種基于HDFS的分布式多級R樹空間索引研究　出處：《中國測繪科學(xué)研究院》2016年碩士論文　論文類型：學(xué)位論文

  更多相關(guān)文章： 空間索引 并行查詢 分布式文件管理系統(tǒng)

【摘要】：隨著測繪技術(shù)不斷的發(fā)展,測繪地理信息部門擁有的地理數(shù)據(jù)飛速增長,而相應(yīng)的空間數(shù)據(jù)存儲與處理仍然較多使用傳統(tǒng)的方法,己不能支持海量空間數(shù)據(jù)。隨著計算機(jī)技術(shù)的不斷發(fā)展,數(shù)據(jù)庫技術(shù)以及文件組織方式發(fā)生了巨大的變化。如今云計算、分布式處理及并行網(wǎng)格計算技術(shù)的逐漸成熟,在各行各業(yè)有著廣泛的應(yīng)用。HDFS (Hadoop Distributed File System)以及MapReduce作為目前廣泛應(yīng)用的分布式存儲與計算框架,支持利用計算機(jī)集群進(jìn)行海量數(shù)據(jù)的存儲與快速處理,這為提高海量矢量數(shù)據(jù)的存儲與計算提供了新途徑。因此面向日益增長的大數(shù)據(jù)集管理要求,將分布式技術(shù)引入空間數(shù)據(jù)存儲與組織中是空間數(shù)據(jù)存儲與處理方法研究的重要課題之一。本文通過將傳統(tǒng)空間數(shù)據(jù)存儲以及查詢方法與HDFS分布式存儲技術(shù)相結(jié)合,借助于可擴(kuò)展的分布式文件系統(tǒng)HDFS存儲空間數(shù)據(jù),解決了海量空間數(shù)據(jù)的存儲問題。由于傳統(tǒng)的空間索引并不能很好的適用于分布式空間數(shù)據(jù)存儲結(jié)構(gòu),因此本文設(shè)計了全局索引與局部索引相結(jié)合的分布式多級R樹空間索引——DMLR(Distributed Multi-layer R Tree)。DMLR空間索引采用STR葉結(jié)點分割思想對空間數(shù)據(jù)進(jìn)行分區(qū),可以更好的應(yīng)對數(shù)據(jù)分布不均衡的情況。利用Spark并行計算框架對DMLR索引進(jìn)行并行構(gòu)建,加快了DMLR索引的構(gòu)建效率。此外通過將傳統(tǒng)的空間數(shù)據(jù)查詢方法與并行計算技術(shù)相結(jié)合,設(shè)計了基于DMLR空間索引的空間數(shù)據(jù)并行查詢方法。包括并行范圍聚集查詢、并行k鄰近查詢、并行空間連接查詢等方法。DMLR空間索引為分布式空間數(shù)據(jù)索引提供了一種新方法。通過空間數(shù)據(jù)并行查詢實驗也驗證了DMLR索引在分布式環(huán)境下對海量空間數(shù)據(jù)管理的有效性。
[Abstract]:With the continuous development of surveying and mapping technology, the geographic data owned by the surveying and mapping geographic information department has increased rapidly, and the corresponding spatial data storage and processing still use the traditional methods. With the continuous development of computer technology, database technology and file organization have undergone tremendous changes. Now cloud computing. Distributed processing and parallel grid computing technology gradually mature. Hadoop Distributed File system is widely used in a variety of industries. And MapReduce is widely used as a distributed storage and computing framework. It provides a new way to improve the storage and computation of mass vector data by using computer cluster to store and process mass data quickly, so it faces the increasing requirement of large data set management. The introduction of distributed technology into spatial data storage and organization is one of the most important topics in the research of spatial data storage and processing. In this paper, traditional spatial data storage, query and HDFS distributed storage techniques are introduced. A combination of art. With the help of the extensible distributed file system (HDFS) to store spatial data, the storage problem of massive spatial data is solved, because the traditional spatial index is not suitable for distributed spatial data storage structure. Therefore, this paper designs a distributed multilevel R-tree spatial index combining global index and local index: DMLR distributed Multi-layer R tree). DMLR spatial index uses the idea of STR leaf node segmentation to partition spatial data. It can better deal with the uneven distribution of data. Using Spark parallel computing framework to build DMLR index in parallel. In addition, the traditional spatial data query method is combined with parallel computing technology. A spatial data parallel query method based on DMLR spatial index is designed, including parallel range aggregation query and parallel k-neighborhood query. Parallel spatial join query. DMLR spatial index provides a new method for distributed spatial data index. The experiment of spatial data parallel query also verifies the DMLR index to sea in distributed environment. The effectiveness of spatial data management.
【學(xué)位授予單位】：中國測繪科學(xué)研究院
【學(xué)位級別】：碩士
【學(xué)位授予年份】：2016
【分類號】：P208

【相似文獻(xiàn)】

相關(guān)期刊論文 前10條

1 曹加恒,張劍,譚輝,趙莉;空間索引的新機(jī)制——G樹[J];武漢大學(xué)學(xué)報(自然科學(xué)版);1998年01期

2 趙園春;李成名;趙春宇;;并行R樹空間索引中葉節(jié)點大小的確定方法研究[J];測繪科學(xué);2008年04期

3 何珍文;鄭祖芳;劉剛;吳沖龍;;動態(tài)廣義表空間索引方法[J];地理與地理信息科學(xué);2011年05期

4 趙園春;李成名;趙春宇;;基于R樹的分布式并行空間索引機(jī)制研究[J];地理與地理信息科學(xué);2007年06期

5 蔣子陽;周志強(qiáng);汪新慶;;3DGIS中基于改進(jìn)R樹的空間索引技術(shù)研究[J];工程地球物理學(xué)報;2007年06期

6 劉榮;周宏軍;田為春;;兩種空間索引結(jié)構(gòu)在供水信息系統(tǒng)中的應(yīng)用和對比[J];東華理工大學(xué)學(xué)報(自然科學(xué)版);2008年04期

7 孫曉光;;導(dǎo)航數(shù)據(jù)庫中空間索引建立方法研究[J];測繪與空間地理信息;2008年03期

8 胡波;;空間索引技術(shù)及其應(yīng)用研究[J];赤峰學(xué)院學(xué)報(自然科學(xué)版);2009年11期

9 王繼水;顧衛(wèi)杰;;3DGIS中混合空間索引技術(shù)的研究[J];工礦自動化;2010年12期

10 宋曉宇;周新偉;王永會;;三維GIS中混合樹空間索引結(jié)構(gòu)的研究[J];沈陽建筑大學(xué)學(xué)報(自然科學(xué)版);2006年03期

相關(guān)會議論文 前8條

1 張明波;陸鋒;申排偉;程昌秀;;空間索引R樹研究:回顧與展望[A];中國地理信息系統(tǒng)協(xié)會第八屆年會論文集[C];2004年

2 張明波;陸鋒;申排偉;程昌秀;;空間索引R樹研究:批量操作技術(shù)[A];中國地理信息系統(tǒng)協(xié)會第八屆年會論文集[C];2004年

3 張澤寶;張健沛;楊靜;;基于R樹的空間索引建立方法研究[A];第一屆中國高校通信類院系學(xué)術(shù)研討會論文集[C];2007年

4 馮鈞;陸佳民;朱躍龍;盧陽;;面向城市路網(wǎng)管理的空間索引結(jié)構(gòu)研究[A];第二十三屆中國數(shù)據(jù)庫學(xué)術(shù)會議論文集（技術(shù)報告篇）[C];2006年

5 葉常春;羅金平;周興銘;;一種基于數(shù)據(jù)特性的空間數(shù)據(jù)組織技術(shù)[A];第二十屆全國數(shù)據(jù)庫學(xué)術(shù)會議論文集（研究報告篇）[C];2003年

6 李佳田;陳軍;趙仁亮;;一種支持離散面目標(biāo)自然鄰居查詢的空間索引[A];中國測繪學(xué)會九屆三次理事會暨2007年“信息化測繪論壇”學(xué)術(shù)年會論文集[C];2007年

7 趙偉;張姝;李文輝;;一種快速的基于K-Means算法的空間索引方法[A];中國幾何設(shè)計與計算新進(jìn)展2007——第三屆中國幾何設(shè)計與計算大會論文集[C];2007年

8 牛紅光;李漢榮;魯強(qiáng);孫萬民;賈俊濤;;基于線性可排序四叉樹的空間索引研究[A];第二十一屆海洋測繪綜合性學(xué)術(shù)研討會論文集[C];2009年

相關(guān)碩士學(xué)位論文 前10條

1 陳伊玲;基于向量近似的復(fù)合空間索引研究[D];南京師范大學(xué);2015年

2 李運(yùn)興;基于R*的分布式空間索引算法研究[D];河南大學(xué);2015年

3 胡昱璞;動態(tài)k值聚類的R-樹空間索引構(gòu)建[D];太原理工大學(xué);2016年

4 馬磊;一種基于HDFS的分布式多級R樹空間索引研究[D];中國測繪科學(xué)研究院;2016年

5 李建;基于智能手機(jī)的移動GIS空間索引研究與實現(xiàn)[D];河南理工大學(xué);2011年

6 陳敏;基于R-樹空間索引的優(yōu)化研究與應(yīng)用[D];福州大學(xué);2006年

7 陳鎮(zhèn)虎;面向空間數(shù)據(jù)庫引擎的空間索引系統(tǒng)[D];北京工業(yè)大學(xué);2002年

8 劉聰;空間索引技術(shù)在移動辦公軟件中的研究與應(yīng)用[D];中國地質(zhì)大學(xué)（北京）;2014年

9 李楊;基于最小邊界圓和最小包圍扇形的空間索引方法[D];哈爾濱理工大學(xué);2009年

10 于波;分布式并行空間索引機(jī)制的研究[D];哈爾濱理工大學(xué);2010年

，

本文編號：1411445