【摘要】：大數(shù)據(jù)時(shí)代的到來(lái),使得空間數(shù)據(jù)正在以前所未有的速度增長(zhǎng),并呈現(xiàn)出多源、多尺度、多時(shí)相、全球覆蓋和高分辨率特征,GIS在生活中的廣泛應(yīng)用,用戶數(shù)量變得越來(lái)越龐大,空間實(shí)時(shí)檢索與獲取在不斷增多,而空間數(shù)據(jù)作為GIS的“血液”,如何對(duì)其進(jìn)行合理的存儲(chǔ)管理才能滿足GIS用戶的需求值得進(jìn)一步探索。云計(jì)算的發(fā)展使得Hadoop和MapReduce在處理空間大數(shù)據(jù)的并行存取與處理等問題上得到了充分的應(yīng)用,特別適用于空間大數(shù)據(jù)的并行存取與處理,因此,針對(duì)空間數(shù)據(jù)數(shù)據(jù)量大、存在拓?fù)渑c語(yǔ)義關(guān)系、更新頻繁等特點(diǎn),需要利用Hadoop平臺(tái),對(duì)空間大數(shù)據(jù)設(shè)計(jì)一種合理的空間數(shù)據(jù)結(jié)構(gòu)進(jìn)行存儲(chǔ),并構(gòu)建高效的索引。本文利用云計(jì)算平臺(tái)Hadoop、分布式數(shù)據(jù)庫(kù)HBase、分布式計(jì)算模型MapReduce研究空間大數(shù)據(jù)的存儲(chǔ)索引機(jī)制,并以O(shè)SM空間數(shù)據(jù)為例,完成了以下3個(gè)方面的研究:(1)分析OSM空間數(shù)據(jù)的結(jié)構(gòu)和特點(diǎn),針對(duì)空間大數(shù)據(jù)在云計(jì)算環(huán)境下的管理需求,設(shè)計(jì)空間數(shù)據(jù)存儲(chǔ)模型和增量數(shù)據(jù)組織方式。同時(shí)為保證地理要素幾何完整性以及拓?fù)潢P(guān)系完整性,將HDFS現(xiàn)有的副本放置策略進(jìn)行改進(jìn)并研究適合空間數(shù)據(jù)的數(shù)據(jù)副本放置策略。(2)對(duì)于空間大數(shù)據(jù),為解決其空間分布不均、保證空間數(shù)據(jù)的相鄰性等問題,經(jīng)對(duì)比分析常見的空間數(shù)據(jù)劃分策略后,提出基于STR樹的空間數(shù)據(jù)劃分策略,同時(shí)為了提高空間數(shù)據(jù)的索引效率和分析性能,利用MapReduce技術(shù)進(jìn)行并行劃分。(3)分析傳統(tǒng)空間索引機(jī)制的優(yōu)缺點(diǎn),對(duì)劃分好的空間數(shù)據(jù),根據(jù)地理實(shí)體要素的分布排序以自下而上的方式利用R-樹進(jìn)行局部索引的構(gòu)建,然后再根據(jù)STR樹構(gòu)建全局索引,將局部索引與全局索引的信息分別存儲(chǔ)在DataNode和NameNode上,以此來(lái)提高空間數(shù)據(jù)檢索效率。最后,部署Hadoop分布式環(huán)境,以O(shè)SM數(shù)據(jù)為例進(jìn)行測(cè)試分析,對(duì)比在數(shù)據(jù)量及集群節(jié)點(diǎn)個(gè)數(shù)不同的情況下空間數(shù)據(jù)的存儲(chǔ)和查詢性能,驗(yàn)證了分布式環(huán)境下空間數(shù)據(jù)的存儲(chǔ)和索引都具有良好的性能,能夠滿足空間數(shù)據(jù)存儲(chǔ)和檢索的需求。
【圖文】：

op 簡(jiǎn)介op 是由 Apache Lucene 創(chuàng)始人 Doug Cutting 創(chuàng)建，起源于開源的網(wǎng)絡(luò)cene，因此也是 Lucene 的一部分。Doug Cutting 在創(chuàng)建 Hadoop 過(guò)程單好記，具有一定的個(gè)性，不易于與其他項(xiàng)目重名，因此他將自己取的名字作為該項(xiàng)目的名字，生動(dòng)有趣，并將這種風(fēng)格繼續(xù)沿用下去后續(xù)模塊也是如此，如 Pig。用 Hadoop 云平臺(tái)，可以實(shí)現(xiàn)對(duì)規(guī)模龐大的數(shù)據(jù)進(jìn)行有效的分布式op 主要是為了解決 Nutch 中的可擴(kuò)展性問題，而現(xiàn)在已經(jīng)發(fā)展成為源軟件，具有數(shù)十個(gè)具有強(qiáng)大生命力的子項(xiàng)目，可以利用一般情況PC 機(jī)搭建集群環(huán)境，實(shí)現(xiàn)對(duì)大數(shù)據(jù)的管理。Hadoop 平臺(tái)的出現(xiàn)，，其擴(kuò)展容易、處理效率高、容錯(cuò)性好、所需成本低等許多非常明顯的常方便快捷地部署和使用，并實(shí)現(xiàn)對(duì)大數(shù)據(jù)的處理和挖掘。

圖 2.2 HDFS 架構(gòu)圖DFS 分布式文件系統(tǒng)中的節(jié)點(diǎn)類型可以分為兩種，即元數(shù)據(jù)節(jié)點(diǎn)（Name節(jié)點(diǎn)（DataNode）。NameNode 的存在相當(dāng)于 HDFS 中的“大管家”，負(fù) 中的文件和目錄，并把它們作為命名空間鏡像文件和編輯日志文件存儲(chǔ)在用者編寫的相關(guān)信息可以在 HDFS 中有序的被保存起來(lái)、進(jìn)行更新或刪NameNode 將分割的不同塊指定存儲(chǔ)在對(duì)應(yīng)的 DataNode 上。而 DataNode儲(chǔ)整個(gè) HDFS 分布式文件系統(tǒng)的文件數(shù)據(jù)，在 DataNode 啟動(dòng)的時(shí)候，它磁盤并將保存在節(jié)點(diǎn)上的塊信息報(bào)告給 NameNode。為了保證 DataNode 之間的聯(lián)系，DataNode 需要定期發(fā)送心跳保持聯(lián)系，否則認(rèn)為其已經(jīng)ameNode 在啟動(dòng)的時(shí)候讀取 fsimage（NameNode 啟動(dòng)時(shí)對(duì)整個(gè)文件系統(tǒng)dit logs（NameNode 啟動(dòng)后對(duì)文件系統(tǒng)的改動(dòng)序列）合并，把改動(dòng)寫到文
【學(xué)位授予單位】：江西理工大學(xué)
【學(xué)位級(jí)別】：碩士
【學(xué)位授予年份】：2019
【分類號(hào)】：P208

【相似文獻(xiàn)】

相關(guān)期刊論文 前10條

1 杜珍應(yīng);唐文學(xué);鄧科;;空間數(shù)據(jù)的挖掘技術(shù)及其應(yīng)用研究[J];工程技術(shù)研究;2018年06期

2 陶迎春;劉光;龐京輝;吳愛華;趙凌美;;構(gòu)建面向個(gè)性化服務(wù)的特大城市云空間數(shù)據(jù)中心[J];測(cè)繪通報(bào);2017年02期

3 梁其洋;吳保國(guó);趙春江;郝星耀;潘瑜春;;分布式空間數(shù)據(jù)服務(wù)兩級(jí)檢索方法研究[J];地理與地理信息科學(xué);2017年02期

4 ;環(huán)球速覽[J];衛(wèi)星與網(wǎng)絡(luò);2017年04期

5 王躍;;中國(guó)GIS教育發(fā)展道路上的屏障[J];科教導(dǎo)刊(中旬刊);2017年09期

6 樂鵬;郭霞;張晨曉;張明達(dá);;空間數(shù)據(jù)溯源的概念、模型與服務(wù)[J];地理與地理信息科學(xué);2015年06期

7 黃佛輝;;WebGIS中空間數(shù)據(jù)的可視化[J];城市地理;2016年20期

8 李楠;;面向數(shù)據(jù)成果更新的空間數(shù)據(jù)制圖研究[J];科技資訊;2014年03期

9 王f^;李偉;;空間數(shù)據(jù)質(zhì)量的模糊綜合評(píng)價(jià)方法探討[J];現(xiàn)代測(cè)繪;2011年03期

10 李偉芬;丁靜;苗卿;;空間數(shù)據(jù)多尺度研究綜述[J];電腦知識(shí)與技術(shù)(學(xué)術(shù)交流);2007年13期

相關(guān)會(huì)議論文 前10條

1 殷江濤;黃陽(yáng)林;朱懷汝;;數(shù)字鄉(xiāng)鎮(zhèn)基礎(chǔ)空間數(shù)據(jù)的質(zhì)量控制[A];創(chuàng)新發(fā)展——河南省第五屆學(xué)術(shù)年會(huì)論文選集[C];2009年

2 楊成韞;榮芳;彭子風(fēng);;基于客戶/服務(wù)器結(jié)構(gòu)的空間數(shù)據(jù)分布式處理研究[A];新世紀(jì) 新機(jī)遇 新挑戰(zhàn)——知識(shí)創(chuàng)新和高新技術(shù)產(chǎn)業(yè)發(fā)展（上冊(cè)）[C];2001年

3 陳犖;劉云翔;唐宇;景寧;;基于優(yōu)先圖的空間數(shù)據(jù)應(yīng)用服務(wù)鏈建模方法[A];第二十屆全國(guó)數(shù)據(jù)庫(kù)學(xué)術(shù)會(huì)議論文集（研究報(bào)告篇）[C];2003年

4 范愛民;張永彬;;基于誤差熵不確定帶的空間數(shù)據(jù)質(zhì)量評(píng)價(jià)指標(biāo)[A];中國(guó)煤炭學(xué)會(huì)礦山測(cè)量專業(yè)委員會(huì)第17屆學(xué)術(shù)會(huì)議論文集[C];2000年

5 劉新貴;黃雅娟;;空間數(shù)據(jù)網(wǎng)絡(luò)化獲取與管理初探[A];中國(guó)地理信息系統(tǒng)協(xié)會(huì)第三次代表大會(huì)暨第七屆年會(huì)論文集[C];2003年

6 孫翠羽;馬飛虎;孫建華;張永軍;;測(cè)繪空間數(shù)據(jù)元數(shù)據(jù)管理系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)[A];地理空間信息技術(shù)及其應(yīng)用論壇論文集[C];2005年

7 杜紅悅;宮輝力;馮克忠;賈建坤;權(quán)忠生;;應(yīng)急救災(zāi)空間數(shù)據(jù)中心建設(shè)技術(shù)與策略研究[A];第十七屆中國(guó)遙感大會(huì)摘要集[C];2010年

8 溫永寧;張紅平;閭國(guó)年;張宏;陶虹;;基于房產(chǎn)空間數(shù)據(jù)的樓宇空間疏散路徑建模研究[A];全國(guó)地質(zhì)制圖與GIS學(xué)術(shù)論壇論文集[C];2011年

9 王建濤;;空間數(shù)據(jù)元數(shù)據(jù)管理與檢索系統(tǒng)的構(gòu)建[A];第四屆海峽兩岸GIS發(fā)展研討會(huì)暨中國(guó)GIS協(xié)會(huì)第十屆年會(huì)論文集[C];2006年

10 胡克新;周曉光;;地籍空間數(shù)據(jù)質(zhì)量檢查與修正[A];中國(guó)地理信息系統(tǒng)協(xié)會(huì)第九屆年會(huì)論文集[C];2005年

相關(guān)重要報(bào)紙文章 前10條

1 記者 侯建斌 見習(xí)記者 梁成棟;網(wǎng)絡(luò)空間數(shù)據(jù)法律保護(hù)等議題達(dá)成新共識(shí)[N];法制日?qǐng)?bào);2019年

2 本報(bào)見習(xí)記者 曹飛;“核心技術(shù)‘買不來(lái)’，必須自力更生”[N];解放日?qǐng)?bào);2017年

3 記者 滕艷;國(guó)家地質(zhì)空間數(shù)據(jù)網(wǎng)格系統(tǒng)獲發(fā)明專利[N];地質(zhì)勘查導(dǎo)報(bào);2009年

4 寧津生 陳軍 晁定波;空間數(shù)據(jù)質(zhì)量的主要內(nèi)涵[N];中國(guó)測(cè)繪報(bào);2002年

5 北京航天泰坦科技股份有限公司總經(jīng)理 倪金生;空間數(shù)據(jù)迎來(lái)新機(jī)遇[N];中國(guó)航天報(bào);2016年

6 寧津生 陳軍 晁定波;空間數(shù)據(jù)的質(zhì)量控制方法[N];中國(guó)測(cè)繪報(bào);2002年

7 記者 陳龍;航天科工空間數(shù)據(jù)服務(wù)中心成立[N];中國(guó)航天報(bào);2016年

8 記者 胡其峰;多項(xiàng)空間數(shù)據(jù)成果向社會(huì)開放[N];光明日?qǐng)?bào);2013年

9 記者 李永成 王瑜婷;勾畫“數(shù)字海南”藍(lán)圖[N];中國(guó)測(cè)繪報(bào);2000年

10 林峰;空間數(shù)據(jù)不確定性理論與方法取得成果[N];科技日?qǐng)?bào);2005年

相關(guān)博士學(xué)位論文 前10條

1 袁潔;基于關(guān)聯(lián)數(shù)據(jù)技術(shù)的空間數(shù)據(jù)溯源共享研究[D];武漢大學(xué);2013年

2 萬(wàn)義良;空間數(shù)據(jù)質(zhì)量檢查與評(píng)估理論研究[D];武漢大學(xué);2015年

3 李玲;嵌入式GIS空間數(shù)據(jù)多尺度表達(dá)與快速顯示技術(shù)研究[D];東南大學(xué);2018年

4 李世明;林業(yè)空間數(shù)據(jù)平臺(tái)技術(shù)的應(yīng)用示范研究[D];中國(guó)林業(yè)科學(xué)研究院;2008年

5 陳靜;分布式虛擬GIS關(guān)鍵技術(shù)研究[D];武漢大學(xué);2004年

6 王卉;無(wú)縫GIS相關(guān)理論與技術(shù)的研究[D];解放軍信息工程大學(xué);2004年

7 郭同德;GIS中空間數(shù)據(jù)位置不確定性的模型與試驗(yàn)研究[D];解放軍信息工程大學(xué);2004年

8 連劍波;基于XML的地質(zhì)數(shù)據(jù)集成及WebGIS發(fā)布研究[D];中國(guó)科學(xué)院研究生院（廣州地球化學(xué)研究所）;2006年

9 覃如府;中國(guó)巖石圈三維結(jié)構(gòu)數(shù)據(jù)庫(kù)集成及其管理系統(tǒng)開發(fā)研究[D];吉林大學(xué);2006年

10 何勇;GIS過(guò)程建模與集成化研究[D];武漢大學(xué);2004年

相關(guān)碩士學(xué)位論文 前10條

1 于雪潤(rùn);地學(xué)空間數(shù)據(jù)三維可視化關(guān)鍵算法研究及軟件研發(fā)[D];合肥工業(yè)大學(xué);2019年

2 李雪麗;云計(jì)算環(huán)境下空間大數(shù)據(jù)存儲(chǔ)索引機(jī)制研究[D];江西理工大學(xué);2019年

3 耿東哲;地下空間數(shù)據(jù)資源管理系統(tǒng)關(guān)鍵技術(shù)研究[D];中國(guó)石油大學(xué)(華東);2017年

4 王忠j;基于Cesium平臺(tái)的多維地球空間數(shù)據(jù)可視化[D];華東師范大學(xué);2018年

5 孟彥偉;移動(dòng)空間數(shù)據(jù)索引及查詢方法研究[D];遼寧大學(xué);2018年

6 楊美菊;基于空間數(shù)據(jù)的聚類DLIS-R樹算法研究[D];昆明理工大學(xué);2018年

7 楊智昊;煤礦空間數(shù)據(jù)矢量瓦片關(guān)鍵技術(shù)研究[D];中國(guó)礦業(yè)大學(xué);2018年

8 楊坤奎;基于實(shí)體密度的位置服務(wù)中kNN查詢和連接方法研究[D];南京大學(xué);2018年

9 吳珂;基于GPU的空間數(shù)據(jù)索引與查詢技術(shù)研究[D];西安電子科技大學(xué);2018年

10 郗雪潔;基于Spark的空間數(shù)據(jù)可視化關(guān)鍵技術(shù)研究[D];西安電子科技大學(xué);2018年

本文編號(hào)：2589238