本文關(guān)鍵詞：Hadoop架構(gòu)下海量空間數(shù)據(jù)存儲與管理　出處：《武漢大學》2017年碩士論文　論文類型：學位論文

  更多相關(guān)文章： 海量空間數(shù)據(jù) 分布式索引 云計算 R-樹索引

【摘要】：隨著地理信息產(chǎn)業(yè)的飛速發(fā)展,作為GIS血液的地理空間數(shù)據(jù)正在隨著指數(shù)級的速率增長,使得空間數(shù)據(jù)的檢索、計算及分析等操作的難度不斷加大,并且其應用到GIS的工作領(lǐng)域范圍也在不斷擴張,空間數(shù)據(jù)精度需求不斷增大,導致海量空間數(shù)據(jù)的存儲管理難度一再提升,迫切需要新的方法和技術(shù)來解決該問題。2005年開始Hadoop分布式系統(tǒng)開源技術(shù)迅速發(fā)展,其主要的兩項技術(shù)HDFS和MapReduce可以為地理空間數(shù)據(jù)的分布式存儲及并行計算處理提供技術(shù)支撐,為解決上述問題提供了一條新的思路。本文深入研究了地理空間數(shù)據(jù)的常見數(shù)據(jù)存儲模式和數(shù)據(jù)存儲結(jié)構(gòu),針對Hadoop分布式開源平臺中的分布式文件系統(tǒng)HDFS存儲需求設計了非結(jié)構(gòu)化空間數(shù)據(jù)存儲模式,以便海量空間數(shù)據(jù)進行分布式存儲,分散計算機硬盤及處理器的壓力。同時為將不同來源、不同格式、不同數(shù)據(jù)結(jié)構(gòu)的地理空間數(shù)據(jù)統(tǒng)一存儲在HDFS中,設計了統(tǒng)一化的數(shù)據(jù)轉(zhuǎn)換接口。當前,空間數(shù)據(jù)索引的研究大都是針對單機建立的索引,很少有分布式存儲空間索引研究。存儲在HDFS中的空間數(shù)據(jù)完全無序,并且分布散亂,對空間數(shù)據(jù)的檢索需要在集群中的每一個節(jié)點進行遍歷,才能檢索到用戶所需要的空間數(shù)據(jù)。因此本文針對幾種不同的數(shù)據(jù)劃分算法深入研究,找出了適合海量空間數(shù)據(jù)索引管理的STR樹索引,建立了數(shù)據(jù)劃分—局部索引—全局索引的STR樹空間索引機制。通過MapReduce并行處理框架對索引進行分布式計算,并在最后Reduce階段將結(jié)果進行歸并以返回給用戶,優(yōu)化了數(shù)據(jù)檢索技術(shù),大大提高了數(shù)據(jù)檢索的效率。
[Abstract]:With the rapid development of geographic information industry, the geospatial data as GIS blood is increasing with the exponential rate, which makes the retrieval, calculation and analysis of spatial data increasingly difficult. And its application to the scope of GIS work is also expanding, spatial data accuracy requirements continue to increase, resulting in massive spatial data storage and management difficulties. New methods and technologies are urgently needed to solve this problem. In 2005, Hadoop distributed system open source technology developed rapidly. The two main technologies, HDFS and MapReduce, can provide technical support for distributed storage and parallel computing of geospatial data. It provides a new way to solve the above problems. This paper deeply studies the common data storage mode and data storage structure of geospatial data. An unstructured spatial data storage model is designed to meet the storage requirements of distributed file system (HDFS) in the Hadoop distributed open source platform in order to store large amounts of spatial data in distributed storage. Distributed computer hard disk and processor pressure. At the same time for different sources, different formats, different data structure of geospatial data stored in HDFS, designed a unified data conversion interface. Most of the research on spatial data index is based on single machine. There are few distributed storage spatial indexes. The spatial data stored in HDFS is completely disordered and scattered. Spatial data retrieval needs to traverse every node in the cluster in order to retrieve the spatial data required by users. Find out the STR tree index which is suitable for the massive spatial data index management. The STR tree spatial index mechanism of data partitioning, local index and global index is established, and the distributed computation of the index is carried out through the MapReduce parallel processing framework. In the final stage of Reduce, the result is merged to return to the user, the data retrieval technology is optimized, and the efficiency of data retrieval is greatly improved.
【學位授予單位】：武漢大學
【學位級別】：碩士
【學位授予年份】：2017
【分類號】：P208

【參考文獻】

相關(guān)期刊論文 前10條

1 王凱;曹建成;王乃生;郭朝陽;張哲;;Hadoop支持下的地理信息大數(shù)據(jù)處理技術(shù)初探[J];測繪通報;2015年10期

2 朱文德;王文靖;黃志英;李景文;;基于Hadoop的地理實體對象化存儲方法[J];測繪與空間地理信息;2015年05期

3 鮑宗豪;宋貴倫;;大數(shù)據(jù)對社會治理帶來的沖擊與變革[J];決策探索(下半月);2014年06期

4 馮鈞;任鋒;唐志賢;;基于Hadoop的QR樹索引方法[J];計算機工程與設計;2013年12期

5 劉義;陳犖;景寧;熊偉;;基于R-樹索引的Map-Reduce空間連接聚集操作[J];國防科技大學學報;2013年01期

6 余冬梅;;空間數(shù)據(jù)索引與查詢的研究[J];計算機與數(shù)字工程;2011年11期

7 李靜;王冬利;;淺析空間數(shù)據(jù)庫[J];科技信息;2010年28期

8 陳珍珍;;云計算及安全性分析[J];電腦知識與技術(shù);2010年22期

9 陳占龍;吳信才;謝忠;馬麗娜;;GSHR-Tree:一種基于動態(tài)空間槽和哈希表的網(wǎng)格環(huán)境下的空間索引樹[J];地球科學(中國地質(zhì)大學學報);2010年03期

10 陳康;鄭緯民;;云計算:系統(tǒng)實例與研究現(xiàn)狀[J];軟件學報;2009年05期

相關(guān)博士學位論文 前7條

1 章瑞;云計算服務的定價策略研究[D];東華大學;2014年

2 范建永;基于Hadoop的云GIS若干關(guān)鍵技術(shù)研究[D];解放軍信息工程大學;2013年

3 劉曉茜;云計算數(shù)據(jù)中心結(jié)構(gòu)及其調(diào)度機制研究[D];中國科學技術(shù)大學;2011年

4 張澤寶;空間數(shù)據(jù)庫的索引技術(shù)研究[D];哈爾濱工程大學;2009年

5 韋亞星;基于數(shù)據(jù)網(wǎng)格的地理空間信息協(xié)作共享系統(tǒng)研究[D];中國科學技術(shù)大學;2007年

6 陳飛翔;移動空間信息服務關(guān)鍵技術(shù)研究[D];中國科學院研究生院（遙感應用研究所）;2006年

7 景東升;基于本體的地理空間信息語義表達和服務研究[D];中國科學院研究生院（遙感應用研究所）;2005年

相關(guān)碩士學位論文 前10條

1 李雷;海量復雜結(jié)構(gòu)數(shù)據(jù)計算方法的應用研究[D];南京郵電大學;2016年

2 劉松;基于分布式的海量圖片數(shù)據(jù)存儲系統(tǒng)的研究與設計[D];深圳大學;2016年

3 馬磊;一種基于HDFS的分布式多級R樹空間索引研究[D];中國測繪科學研究院;2016年

4 宋建林;K-means聚類算法的改進研究[D];安徽大學;2016年

5 王瑞松;大數(shù)據(jù)環(huán)境下時空多維數(shù)據(jù)可視化研究[D];浙江大學;2016年

6 李運興;基于R*的分布式空間索引算法研究[D];河南大學;2015年

7 崔峰峰;基于Hadoop的數(shù)字博物館構(gòu)建研究[D];西北師范大學;2015年

8 吳學饒;云計算環(huán)境下大GML空間數(shù)據(jù)并行存取關(guān)鍵技術(shù)研究[D];江西理工大學;2015年

9 吳賓;地理空間數(shù)據(jù)集的多級格網(wǎng)索引研究與應用[D];電子科技大學;2014年

10 夏銳;基于Hadoop的VGI矢量空間數(shù)據(jù)管理方法研究[D];南京師范大學;2014年

，

本文編號：1356077